robots.txt

什么是 robots.txt

robots.txt 是一个纯文本 txt 文件,主要是为百度蜘蛛准备的,与我们用户没有丝毫关系,它是百度蜘蛛访问网站的时候要查看的第一个文件,robots.txt 文件告诉百度蜘蛛在服务器上什么文件是可以被查看的,哪些网页可以收录,哪些不允许收录,对与 seo 优化而言,放置一个 robots.txt 是对搜索引擎有好的表现,robots.txt 必须放置在一个站点的根目录下,且文件名必须全部小写。

robots.txt 作用

robots.txt 主要作用是保障网络安全与网站隐私,百度蜘蛛遵循 robots.txt 协议。通过根目录中创建的纯文本文件 robots.txt,网站就可以声明哪些页面不想被百度蜘蛛爬行并收录,每个网站都可以自主控制网站是否愿意被百度蜘蛛收录,或者指定百度蜘蛛只收录指定的内容。当百度蜘蛛访问某个站点时,它会首先检查该站点根目录下是否存在 robots.txt,如果该文件不存在,那么爬虫就沿着链接抓取,如果存在,爬虫就会按照该文件中的内容来确定访问的范围。

robots.txt 文件的格式

  • User-agent:_ 空白处为定义搜索引擎的类型;

  • Crawl-delay:_ 空白处为定义抓取延迟;

  • Disallow:_ 空白处为定义禁止搜索引擎收录的地址;

  • Allow:_ 空白处为定义允许搜索引擎收录的地址;

  1. 禁止所有 SE(搜索引擎)收录网站的某些目录:

    • User-agent: *

    • Disallow: / 目录名 1/

    • Disallow: / 目录名 2/

    • Disallow: / 目录名 3/

  2. 禁止某个 SE(搜索引擎)收录本站,例如禁止百度:

    • User-agent: Baiduspider

    • Disallow: /

  3. 禁止所有 SE(搜索引擎)收录本站:

    • User-agent: *

    • Disallow: /

相关推荐