爬虫入门五(移动端数据的爬取)
常用的抓包工具
常用的抓包工具:本质就是一款服务器,适用于实现请求和响应的拦截 fiddler 默认只可以抓起http协议的请求和响应 https: tools - options - https - detrypt https traffic 含义:将fiddler的证书安装到本地 青花瓷(charles) miteproxy
移动端数据的爬取
配置相关的环境
- fiddler的配置:
- tools-》options-》connections->allow remote conxxx
- 查看fiddler的端口号,并且记住端口号
- 测试配置是否生效:
- 在电脑的浏览器访问:http://localhost:端口号/,如果可以访问成共则表示配置成功
网络设置:
网络设置:
- fiddler所在的电脑开启一个热点,手机连接热点
- 保证手机和电脑同处于同一个网段
- fiddler所在的电脑开启一个热点,手机连接热点
在手机中安装fiddler的证书
手机浏览器访问:
- 点击下载证书的链接,进行证书下载
在手机中新任且安装证书
开启手机网络代理
- wifi-》点击感叹号-》开启代理-》代理的ip就是电脑的ip,端口就是fiddler的端口
移动端自动化
appnium是一个基于手机应用自动化的模块
待补充