CentOS 6.4 安装搭建 Scrapy 0.22 环境

Scrapy是一个开源的机遇twisted框架的python的单机爬虫，该爬虫实际上包含大多数网页抓取的工具包，用于爬虫下载端以及抽取端。

CentOS 6.4 安装搭建 Scrapy 0.22 环境过程记录，希望对大家有所帮助。

一、安装Python2.7.6

1.更新CentOS lib库文件

yum -y update

2.安装开发工具包

yum groupinstall -y development

3.安装扩展包

yum install -y zlib-dev openssl-devel sqlite-devel bzip2-devel

4.下载Python2.7.6

wget http://www.python.org/ftp/python/2.7.6/Python-2.7.6.tar.xz

5.解压Python2.7.6

tar -xvf Python-2.7.6.tar.xz

6.进入Python2.7.6目录

cd Python-2.7.6

7.编译安装Python2.7.6

./configure

make && make altinstall

二、解决Yum不支持Python2.7的问题

1.将老的Python程序进行备份

mv /usr/bin/python /usr/bin/python2.6.6

2.建立新的Python链接

ln -s /usr/local/bin/python2.7 /usr/bin/python

3.修改/usr/bin/yum文件

vi /usr/bin/yum

将第一行的 #!/usr/bin/python 改为 #!/usr/bin/python2.6.6

三、安装setuptools 和 pip

1.下载setuptools

wget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-1.4.2.tar.gz

2.解压setuptools

tar -xvf setuptools-1.4.2.tar.gz

3.进入setuptools目录

cd setuptools-1.4.2

4.通过已安装的Python2.7.6安装setuptools

python setup.py install

5.安装 pip

easy_install pip

6.curl https://raw.github.com/pypa/pip/master/contrib/get-pip.py | python2.7 -

四、安装libxslt-devel支持lxml

yum install libxslt-devel

五、安装Scrapy

pip install scrapy