春暖花开,又到了跳槽的好时节,利用Python分析招聘网站岗位数据
欢迎点击右上角关注小编,除了分享技术文章之外还有很多福利,私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。
前言
春暖花开,又到了跳槽的好时节。正所谓:金三银四,金九银十。公司里人心躁动,难免也会想来场说走就走的离职。当下到底是不是跳槽最佳时机?小编来帮你分析一下,帮你做出正确的决断!
本文目标
目标网站:拉勾网
- 获取 Ajax 请求,解析 JSON 中所需字段
- 数据保存到 Excel 中
- 数据保存到 MySQL, 方便分析
基本环境配置
版本:Python3
系统:Windows
相关模块:
分析网站
我们输入查询条件以 Python 为例,其他条件默认不选。
从图中可以看出 result 下面就是各个岗位信息。
到这里我们知道了从哪里请求数据,从哪里获取结果。但是 result 列表中只有第一页 15 条数据,其他页面数据怎么获取呢?
分析请求参数
发现提交了三个表单数据,很明显看出来 kd 就是我们搜索的关键词,pn 就是当前页码。first 默认就行了,不用管它。剩下的事情就是构造请求,来下载 30 个页面的数据了。
解析数据
获取所有数据
了解了如何解析数据,剩下的就是连续请求所有页面了,我们构造一个函数来请求所有 30 页的数据。
实现效果图
完整代码
github:https://github.com/fffanmeng/6666
相关推荐
YENCSDN 2020-11-17
lsjweiyi 2020-11-17
houmenghu 2020-11-17
Erick 2020-11-17
HeyShHeyou 2020-11-17
以梦为马不负韶华 2020-10-20
lhtzbj 2020-11-17
夜斗不是神 2020-11-17
pythonjw 2020-11-17
dingwun 2020-11-16
lhxxhl 2020-11-16
坚持是一种品质 2020-11-16
染血白衣 2020-11-16
huavhuahua 2020-11-20
meylovezn 2020-11-20
逍遥友 2020-11-20
weiiron 2020-11-16