Python 版本升级和scrapy 安装

升级Python

依赖包安装

yum install -y python-devel gcc gcc-c++ libffi-devel zlib zlib-dev openssl-devel sqlite-devel bzip2-devel

# 下载Python-2.7.4
wget http://python.org/ftp/python/2.7.4/Python-2.7.4.tgz

# 安装
tar -xvf Python-2.7.4.tgz
cd Python-2.7.4
./configure --prefix=/usr/local/python2.7
make
make install

# 创建链接来使系统默认python变为python2.7
ln -s /usr/local/python2.7/bin/python2.7 /usr/bin/python

# 查看Python版本
python –V

# 修改yum配置（否则yum无法正常运行）
vim /usr/bin/yum
将第一行的#!/usr/bin/python修改为系统原有的python版本地址#!/usr/bin/python2.6

安装pip

# 直接用yum命令安装 python-pip
yum install python-pip

安装scrapy

# 安装scrapy
pip install scrapy

# 创建软连接
ln -s /usr/local/python2.7/bin/scrapy /usr/bin/

安装MySQLdb的组件

pip install MySQL-python

创建项目

scrapy startproject 项目名称
# 创建测试代码
scrapy genspider dmoz_spider dmoz.org

# 运行
scrapy crawl 项目中name的名字

常见错误

# Twisted TLSVersion的问题 
    错误：twisted/internet/_sslverify.py", line 38, in TLSVersion.TLSv1_1: SSL.OP_NO_TLSv1_1, AttributeError: 'module' object has no attribute 'OP_NO_TLSv1_1'
    
    修复：降低Twsited的版本号 
    sudo pip install Twsited==16.4.1