欢迎点击右上角关注小编，除了分享技术文章之外还有很多福利，私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。

前言

爬虫可以从网站某一个页面(通常是首页)开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。

难道爬虫真的只是这样么？

小编特地询问很多网友Python有什么用，大家给出答案也是五花八门。

python爬虫有什么用

下面是网友给出的答案：

为什么Python更适合爬虫？

• C，C++。高效率，快速，适合通用搜索引擎做全网爬取。缺点，开发慢，写起来又臭又长
• 脚本语言：Perl, Python, Java, Ruby。简单，易学，良好的文本处理能方便网页内容的细致提取，但效率往往不高，适合对少量网站的聚焦爬取
• C#？（貌似信息管理的人比较喜欢的语言）

为什么最终选择的还是Python

1. 因为写爬虫是一边写，一边测试。测试不过再改改。这个过程用 python 写起来最方便。
2. Python 有 scrapy 这样成熟的框架，我们大可不必自己从0开始
3. 即使从0开始，以 Python 简洁的语法和一大波成熟的库，写起来相当的快。

如何学习爬虫

爬虫涉及的知识点：

学习爬虫的原因

• 学习爬虫，可以私人订制一个搜索引擎，并且可以对搜索引擎的数据采集工作原理进行更深层次地理解。
• 学习爬虫可以获取更多的数据源。这些数据源可以按我们的目的进行采集，去掉很多无关数据。
• 对于很多SEO从业者来说，学习爬虫，可以更深层次地理解搜索引擎爬虫的工作原理，从而可以更好地进行搜索引擎优化。
• 学习爬虫更有钱景。爬虫工程师是当前紧缺人才，并且薪资待遇普遍较高，所以，深层次地掌握这门技术，对于就业来说，是非常有利的。

除了以上为大家总结的4种常见的学习爬虫的原因，在下方留言评论说说你学习Python爬虫的原因