Python 爬取携程所有机票找出最低折扣机票,让你无忧回家过年
欢迎点击右上角关注小编,除了分享技术文章之外还有很多福利,私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。
这篇文章主要介绍了Python 爬取携程所有机票功能,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
前言
对于平时出行大多数人都是选择坐高铁,当然了如果这是对于距离比较近的行程是最划算的,如果对于路途长远的人言,提前购买飞机票价格可能比高铁票更加的便宜,如果我们可以爬取机票数据并分析它什么时候折扣最低,这样是不是出行更方便,更划算呢?
基本环境配置
版本:Python3
系统:Windows
相关模块:
打开携程网,查询机票,如广州到成都。
CAN 表示广州,CTU 表示成都,日期 “2018-06-15”就比较明显了。一般的爬虫,只有替换这几个值,就可以遍历了。但观察发现,有链接可以看到当前网页的所有json格式的数据。
同样可以看到城市和日期,该连接打开的是 json 文件,里面存储的就是当前页面的数据。显示如下,其中 "fis" 则是航班信息。
每一次爬取只要替换城市代码和日期即可,城市代码自己手动整理了一份:
为了防止频繁请求出现 429,UserAgent 也找多一些让其随机取值。但是有时候太频繁则需要输入验证码,所以还是每爬取一个出发城市,暂停10秒钟吧。
先创建表用于存储数据,此处用的是 SQL Server:
因为是爬取所有城市,所以城市不限制,只限制日期,即爬取哪天至哪天的数据。全部脚本如下:
总结
以上所述是小编给大家介绍的Python 爬取携程所有机票,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对小编的支持。