[爬虫]Scapy
1.安装(任意系统): pip install scrapy
Linux下有可能报:安装Scrapy 报错
Could not find a version that satisfies the requirement Twisted>=13.1.0 (from Scrapy) (from versions: )
No matching distribution found for Twisted>=13.1.0 (from Scrapy)
原因是没有安装Twisted
wget https://twistedmatrix.com/Releases/Twisted/17.1/Twisted-17.1.0.tar.bz2 tar -jxvf Twisted-17.1.0.tar.bz2 cd Twisted-17.1.0 python setup.py install cd .. pip install scrapy
解压报错还需要安装:yum -y install bzip2
也可以使用:pip install Twisted==17.1.0 (https://pypi.org/project/Twisted/17.1.0/)
注意:这里有一个大坑,就是无论怎样都装不进Twisted,一直报setuptools too old.想了很多方法,试过
pip install --upgrade pip pip install --upgrade setuptools
发现都升级成功了,但是还是报错.然后查了一下pip的路径和version,发现是python3,那问题就出在python2和3的指向了.用python setup.py install,使用的是python2的,所以无论怎样更新,更新的都不是它.肯定报错了.这时
只需要使用python3 setup.py install,立马成功.
2.测试:Python下输入:
>>> import scrapy >>> scrapy.version_info
输出(1, 5, 1),安装成功.
3.创建项目:
到你的项目路径下:
scrapy startproject example
4.数据信息:
在web页面任意item下右击审查元素可以看到其html信息
5.运行:
scrapy crawl books -o books.csv首先如果用的是python3.7,会报错: scrapy遇到async报错