百度爬虫种类|新闻,无限,图片,视频,推广等系列spider

Baiduspider是百度搜索引擎的一个自动程序,它的作用是访问互联网上的网页,建立索引数据库,使用户能在百度搜索引擎中搜索到您网站上的网页。

百度各个产品使用不同的user-agent:

引用
  名称    ||     对应user-agent

无线搜索Baiduspider-mobile

图片搜索Baiduspider-image

视频搜索Baiduspider-video

新闻搜索Baiduspider-news

百度搜藏Baiduspider-favo

百度联盟Baiduspider-cpro*

百度推广Baiduspider-sfkr*

网页以及其他搜索Baiduspider

以下robots实现禁止所有来自百度的抓取:

User-agent:Baiduspider

Disallow:/

以下robots实现仅禁止来自百度视频搜索的抓取:

User-agent:Baiduspider-video

Disallow:/

以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录:

User-agent:Baiduspider

Disallow:/

User-agent:Baiduspider-image

Allow:/image/

请注意:

Baiduspider-cpro(百度联盟)和Baiduspider-sfkr(百度推广)抓取的网页并不会建入索引,只是执行与客户约定的操作,所以不遵守robots协议,如果Baiduspider-cpro和Baiduspider-sfkr给您造成了困扰,Baiduspider-cpro请联系[email protected],Baiduspider-sfkr请联系[email protected]

baiduspider活跃蜘蛛IP地址如下:

引用
61.135.165.202   61.135.165.203   61.135.165.205   61.135.165.206 61.135.168.43    61.135.168.44    61.135.168.45   61.135.168.46   61.135.168.47     61.135.168.48 61.135.168.49    61.135.168.50    66.249.67.53     66.249.71.41

其他ip地址段:

引用
123.125.66.*

203.208.60.*

220.181.7.*

百度搜索帮助中心-禁止搜索引擎收录的方法

http://www.baidu.com/search/robots.html

相关推荐