apache禁止搜索引擎收录、网络爬虫采集的配置方法
Apache中禁止网络爬虫,之前设置了很多次的,但总是不起作用,原来是是写错了,不能写到Dirctory中,要写到Location中
代码如下:
<Location /> SetEnvIfNoCase User-Agent "spider" bad_bot BrowserMatchNoCase bingbot bad_bot BrowserMatchNoCase Googlebot bad_bot Order Deny,Allow #下面是禁止soso的爬虫 Deny from 124.115.4. 124.115.0. 64.69.34.135 216.240.136.125 218.15.197.69 155.69.160.99 58.60.13. 121.14.96. 58.60.14. 58.61.164. 202.108.7.209 Deny from env=bad_bot </Location>
这是禁止了所有包含spider字符的爬虫。
如果要针对性的禁止爬虫,改成精确匹配的爬虫字符串,如果bingbot、Googlebot等等
相关推荐
athrenzala 2020-05-28
etedyh 2020-03-03
chenluhan 2020-01-04
huhu 2019-11-09
athrenzala 2019-11-05
柳永法的个人 2019-11-01
jinyanliang 2019-10-29
凤涅盘 2019-10-25
athrenzala 2019-10-24
haifeng 2019-10-22
WEB程序员 2019-09-26
yingking00 2015-12-27
一张白纸 2019-03-21
enjoyhot 2012-06-11
qiuqiang 2012-03-06
ycsx0 2011-05-12
huhu 2011-05-12
mzdanvy 2011-03-30
haifeng 2018-04-28