欢迎点击右上角关注小编，除了分享技术文章之外还有很多福利，私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。

前言

为什么学习Python爬虫？

数据控？！

为什么学习Python爬虫？

酷！效率高！

学习爬虫前

你得先了解Python的list（队列），dict（字典）

因为爬虫爬取下来的数据要用Python的数据框架来存储，list和dic是基础，另外你还需要了解numpy以及pandas。

推荐书籍

学习Python的数据架构，强烈推荐利用Python进行数据分析，私信小编PDF有电子版的书籍哦

Python爬虫相关的模块

urllib、requests、Bs4、scrapy、pyspider等等。

对于这些模块当中，小编强烈建议用requests、Bs4这样2个包，你会发现写爬虫原来这么简单！

requests负责网站，处理http协议；

bs4负责将网页变成结构化数据，方便爬取。

当然了，你肯定会遇到一些用bs4也很难爬取的内容，这个时候你就需要学一学re(正则表达式)

掌握以上这些知识点内容，那么你就可以开始爬取一些静态网站数据啦！

比如：糗事百科的段子、一些盗版网站的小说等等。

慢慢的你会发现这些静态网站已经不能满足你的欲望了，这个时候就可以开始学习爬取js加载的动态网站了

那你就需要学习的知识点就有selenium、ghost这种包来控制浏览器，学了这些你就可以轻松爬取知乎啦~~~

你以为学完这些就够了？

路漫漫其修远兮，你爬取到的数据，肯定是需要存储的吧，这时你就需要恶补Python数据库连接的知识，爬到的数据你想要展示对吧，那你就需要解除一下Django、flask等一些web开发框架了。

除此之外：

• 多线程爬虫提高爬取效率！
• 代理IP池与网站斗智斗勇！
• scrapy、pyspider框架部署！

每一个都需要我们学习很久