利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!

利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!
利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!

使用说明:

启动前配置:

MongoDB安装好 能启动即可,不需要配置。

利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!

启动程序:

  1. 进入 myQQ.txt 写入QQ账号和密码(用一个空格隔开,不同QQ换行输入),一般你开启几个QQ爬虫线程,就至少需要两倍数量的QQ用来登录,至少要轮着登录嘛。
  2. 进入 init_messages.py 进行爬虫参数的配置,例如线程数量的多少、设置爬哪个时间段的日志,哪个时间段的说说,爬多少个说说备份一次等等。
  3. 运行 init.py 文件开启爬虫项目。
  4. 爬虫开始之后首先根据 myQQ.txt 里面的QQ去获取 Cookie(以后登录的时候直接用已有的Cookie,就不需要每次都去拿Cookie了,遇到Cookie失效也会自动作相应的处理)。获取完Cookie后爬虫程序会去申请四百多兆的内存,申请的时候会占用两G左右的内存,大约五秒能完成申请,之后会掉回四百多M。
  5. 爬虫程序可以中途停止,下次可打开继续抓取。

一个人自学很有可能因为动力不足而中途放弃,可以尝试加入一个或几个适合自己的网络群体(QQ、 微信、 社区等),寻找志同道合的学习伙伴,相互交流、相互促进

运行截图:

利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!

说说数据:

利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!

日志数据:

利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!

好友关系数据:

利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!

个人信息数据:

利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!
利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!
利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!
利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!
利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!
利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!

Friend 表:

_id:采用 QQ 作为唯一标识。

Num:此QQ的好友数(仅统计已抓取到的)。

Fx:朋友的QQ号,x代表第几位好友,x从1开始逐渐迭加。

利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!
利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!

启动程序:

  1. 进入 myQQ.txt 写入QQ账号和密码(不同QQ换行输入,账号密码空格隔开)。如果你只是测试一下,则放三两个QQ足矣;但如果你开多线程大规模抓取的话就要用多一点QQ号(thread_num_QQ的2~10倍),账号少容易被检测为异常行为。
  2. 进入 init_messages.py 进行爬虫参数的配置,例如线程数量的多少、设置爬哪个时间段的日志,哪个时间段的说说,爬多少个说说备份一次等等。
  3. 运行 launch.py 启动爬虫。
利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!
利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!

下面是为初学者们准备的python电子书籍资料和python入门教程!

利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!

高淇四百集第二季开始放送了!

利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!

请关注+私信回复:“学习”就可以拿到一份我为大家准备的Python学习资料!

相关推荐