子沐课堂——Scrapy之Mysql数据存储
前言
上一节我们完成了对于数据的抓取工作,这次我们实现讲抓取的数据保存到数据库中,并为数据分析做一下简单的数据整数化。详情翻阅:子沐课堂——Scrapy之智联招聘篇(一)
环境配置
既然要操作Mysql数据库,那么我们就需要引入Mysql-Python模块
Linux下安装,使用命令pip install mysql-python
window下安装,我们则需要从网上下载exe安装包,详细的网盘地址,请加群。传送门:586656942
实际代码操作
在pipelines.py文件中,我们进行代码操作
单单这些代码还不够,我们要开启Item 管道,那么如何开启呢?
找到settings.py文件中的ITEM_PIPELINES,设置我们的ZLPipeline为300,后面的这个数值表示优先值意思,值越小,优先级越高。
如此,我们重新运行爬虫运行命令,scrapy crawl python,如此就大功告成了!
但是,不要忘记了我们要手动的建立好数据库和表哟!!!!
详细的代码和视频操作,请到群:586656942查看。更多精彩内容等着你。
视频加载中...
相关推荐
憧憬 2020-08-21
wa2003 2020-06-17
悟空大师 2020-06-06
辛佳雨 2020-06-02
fangxiaoji 2020-05-12
loviezhang 2020-04-17
Charlesbases 2020-04-16
whyname 2020-03-07
wzhwangzhuohui 2020-03-04
flyDeDog 2020-02-25
qijiqiguai 2020-02-13
zxznsjdsj 2020-02-02
chenjinlong 2020-01-31
大脸猫脸大 2020-01-26
wintershii 2020-01-18
东哥笔记 2020-01-17