python3 爬虫小技巧,
前几天采集一个网站的数据,发现在翻页查询数据的时候,网址是不变的,其实这样的情况很多,关键是获取到真正的URL
比如:查询链接是:http://so.nen.com.cn/m_fullsearch/searchurl/mfullsearch!descResult.do 翻页r查询,地址栏里面的url始终是不变的,但实际上是变化的,
具体的参数变化可以在From Data看到,如下图:
所以具体的完整的url应该是:http://so.nen.com.cn/m_fullsearch/searchurl/mfullsearch!descResult.do?keywords=%E7%96%AB%E6%83%85&channelId=0&channelId=0&channel_id=0&size=&header=&keywords=&footer=&orderFlg=&startPage=&endPage=&pageNoCurrent=2&pageNoRecode=&allChannelId=
不过有的参数在 Query String 里面,不同的网站可能不一样,只有F12查看一下就可以
12
相关推荐
chuckchen 2020-10-31
Will0 2020-10-12
Dreamhome 2020-10-09
xirongxudlut 2020-09-28
星辰大海的路上 2020-09-13
chaochao 2020-08-31
猪猪侠喜欢躲猫猫 2020-08-17
快递小可 2020-08-16
shengge0 2020-07-26
巩庆奎 2020-07-21
张文倩数据库学生 2020-07-19
xirongxudlut 2020-07-18
Ericbig 2020-07-18
kyelu 2020-07-09
liangzhouqu 2020-07-07
GuoSir 2020-06-28
chaigang 2020-06-27
pythonxuexi 2020-06-25