向搜索引擎说NO
如果你的网站有MP3等音频文件的话，你可能会遇到被强行收录的问题，可恶的mp3引擎；
我们的服务器本来就很慢，又他们的下载我们就傻了。
解决办法:
写robot.txt：
如：Quotation
#
#d-fone.com
#
User-agent:*
Disallow:/control/
Disallow:/userfiles/
比较大的搜索引擎（百度、新浪、雅虎）还是比较挺文明的，他先访问你网站的robot.txt; 看看那个是可以访问的，然后爬虫才会去收录；
2.用apache的Rewrite的功能，类似如下
##ApacheRewrite
RewriteEngineOn
RewriteCond%{HTTP_REFERER}!^http://d-fone.com/show/.*$[NC]
RewriteCond%{HTTP_REFERER}!^http://www.d-fone.com/show/.*$[NC]
RewriteCond%{HTTP_REFERER}!^http://d-fone.com/bao/.*$[NC]
RewriteCond%{HTTP_REFERER}!^http://www.d-fone.com/bao/.*$[NC]
RewriteRule.*\.(mp3|mp4|wav|wma|mid|wmv|avi|3gp|flv|mpeg4|rm|rmvb|bmp|sis|sisx|tsk|jar|cab|zip|rar|hme|exe|nth)$http://www.d-fone.com/userfiles/d-fone.com.txt[R,NC]
相关推荐
athrenzala 2020-05-28
etedyh 2020-03-03
chenluhan 2020-01-04
huhu 2019-11-09
athrenzala 2019-11-05
柳永法的个人 2019-11-01
jinyanliang 2019-10-29
凤涅盘 2019-10-25
athrenzala 2019-10-24
haifeng 2019-10-22
WEB程序员 2019-09-26
yingking00 2015-12-27
一张白纸 2019-03-21
enjoyhot 2012-06-11
qiuqiang 2012-03-06
ycsx0 2011-05-12
huhu 2011-05-12
mzdanvy 2011-03-30
haifeng 2018-04-28