子沐课堂——Scrapy之Mysql数据存储

前言

上一节我们完成了对于数据的抓取工作,这次我们实现讲抓取的数据保存到数据库中,并为数据分析做一下简单的数据整数化。详情翻阅:子沐课堂——Scrapy之智联招聘篇(一)

环境配置

既然要操作Mysql数据库,那么我们就需要引入Mysql-Python模块

Linux下安装,使用命令pip install mysql-python

window下安装,我们则需要从网上下载exe安装包,详细的网盘地址,请加群。传送门:586656942

实际代码操作

在pipelines.py文件中,我们进行代码操作

子沐课堂——Scrapy之Mysql数据存储

子沐课堂——Scrapy之Mysql数据存储

单单这些代码还不够,我们要开启Item 管道,那么如何开启呢?

找到settings.py文件中的ITEM_PIPELINES,设置我们的ZLPipeline为300,后面的这个数值表示优先值意思,值越小,优先级越高。

子沐课堂——Scrapy之Mysql数据存储

如此,我们重新运行爬虫运行命令,scrapy crawl python,如此就大功告成了!

但是,不要忘记了我们要手动的建立好数据库和表哟!!!!

详细的代码和视频操作,请到群:586656942查看。更多精彩内容等着你。

视频加载中...

相关推荐