robots.txt
什么是 robots.txt
robots.txt 是一个纯文本 txt 文件,主要是为百度蜘蛛准备的,与我们用户没有丝毫关系,它是百度蜘蛛访问网站的时候要查看的第一个文件,robots.txt 文件告诉百度蜘蛛在服务器上什么文件是可以被查看的,哪些网页可以收录,哪些不允许收录,对与 seo 优化而言,放置一个 robots.txt 是对搜索引擎有好的表现,robots.txt 必须放置在一个站点的根目录下,且文件名必须全部小写。
robots.txt 作用
robots.txt 主要作用是保障网络安全与网站隐私,百度蜘蛛遵循 robots.txt 协议。通过根目录中创建的纯文本文件 robots.txt,网站就可以声明哪些页面不想被百度蜘蛛爬行并收录,每个网站都可以自主控制网站是否愿意被百度蜘蛛收录,或者指定百度蜘蛛只收录指定的内容。当百度蜘蛛访问某个站点时,它会首先检查该站点根目录下是否存在 robots.txt,如果该文件不存在,那么爬虫就沿着链接抓取,如果存在,爬虫就会按照该文件中的内容来确定访问的范围。
robots.txt 文件的格式
User-agent:_ 空白处为定义搜索引擎的类型;
Crawl-delay:_ 空白处为定义抓取延迟;
Disallow:_ 空白处为定义禁止搜索引擎收录的地址;
Allow:_ 空白处为定义允许搜索引擎收录的地址;
禁止所有 SE(搜索引擎)收录网站的某些目录:
User-agent: *
Disallow: / 目录名 1/
Disallow: / 目录名 2/
Disallow: / 目录名 3/
禁止某个 SE(搜索引擎)收录本站,例如禁止百度:
User-agent: Baiduspider
Disallow: /
禁止所有 SE(搜索引擎)收录本站:
User-agent: *
Disallow: /