Python爬取网易云课堂课程数据,学习资料免费看

欢迎点击右上角关注小编,除了分享技术文章之外还有很多福利,私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。

Python爬取网易云课堂课程数据,学习资料免费看

我简单的看了一下,页面数据是基于

https://study.163.com/p/search/studycourse.json 这个地址进行异步加载的。你自己尝试的时候需要借助开发者工具

进行多次尝试,抓取到这个地址的数据为准。

还有一个地方需要注意,这次是post提交方式,并且提交数据是payload类型的,这个原因导致我们的代码和以前的略微有一些不同的地方。

Python爬取网易云课堂课程数据,学习资料免费看

提取post关键字,看一下各个参数的意思,如果你爬取的网站足够多,那么训练出来的敏感度能够快速的分析这些参数

Python爬取网易云课堂课程数据,学习资料免费看

好了,可以开始编写代码了,核心的代码就是通过requests模块发送post请求

Python爬取网易云课堂课程数据,学习资料免费看

因为获取到的数据是json类型的,所以,数据可以快速的保存到mongodb里面,保存数据的代码我依旧留空,希望你自己可以完善。

通过很短的时间,我们就捕获到了3000门课程

Python爬取网易云课堂课程数据,学习资料免费看

好了,需要代码和Python学习视频,可以加Python学习群:960410445

相关推荐