小白爬虫scrapy第三篇

在你的spiders目录下创建自己第一个爬虫项目,我我这儿命名为AiquerSpider.py
然后编辑文件

# !/usr/bin/python
# -*- coding: UTF-8 -*-
import scrapy
from scrapy.http import Request

以上是我所需要导入使用的包,你也可以自定义别的包.
接下来咱们创建类:

# !/usr/bin/python
# -*- coding: UTF-8 -*-
import scrapy
from scrapy.http import Request

class AiquerSpider(scrapy.Spider):
    # name 定义爬虫名称
    name = ''
    # allowed_domains定义访问域
    allowed_domains = []
    # bash_url定义要爬取的网站
    bash_url = ''

    # 这个方法是必须有不然你的爬虫跑不起来(同等java中的main方法)
    def parse(self, response):
        
        pass

在写代码之前呢咱们要去做点大事,具体看下面,嘿嘿!
咱们要首先定义集合就是items.py中用来存放的数据
咱们看看网页吧,在具体说需要哪些东西.

上面呢我们需要网站地址\用户名称\视频图片\视频地址
下载视频的话我这儿就不做讲解了我们就获取这几个参数为例子
首先,我们需要爱奇艺网站用户地址做分析

http://www.iqiyi.com/u/141242...
http://www.iqiyi.com/u/用户ID 这一段是找到用户网站首页
/v 这个是该用户下的视频
这样我们就了解到了如何去手动指定用户并且爬取他下面的视频了
废话不多说,先上items的代码

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class AiquerItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # 视频名称
    video_name = scrapy.Field()
    # 视频时间
    video_time = scrapy.Field()
    # 视频图片路径
    video_imgurl = scrapy.Field()
    # 视频路径
    video_url = scrapy.Field()
    pass

我们的items就写完了
再回到咱们的爬虫上面,具体解释都在里面的注释中了

# !/usr/bin/python
# -*- coding: UTF-8 -*-
# 这里是自己导入的包
import scrapy
from scrapy.http import Request
from AiQuer.items import AiquerItem
# 定义类
class AiquerSpider(scrapy.Spider):
    # http://www.iqiyi.com/u/1412422046/v?page=1&video_type=1
    # name 定义爬虫名称
    name = 'AiquerSpider'
    # allowed_domains定义访问域
    allowed_domains = ['iqiyi.com']
    # bash_url定义要爬取的网站
    bash_url = 'http://www.iqiyi.com/u/'
    # 做拼接地址的结尾
    bashurl = '/v?page=1'
    user_id = None

    # 用来获取输入的用户编号返回拼接地址
    def start(self):
        self.user_id = self.validateIsNull(input(u'请输入用户编号:'))
        if self.user_id:
            url = self.bash_url + self.user_id + self.bashurl
            return url


    def start_requests(self):
        # 首先获取用户首页地址
        url = self.start()
        # Request函数第一个是地址,第二个是调用的方法
        yield Request(url, self.max_page)
        #yield Request('http://www.iqiyi.com/u/1412422046/v?page=2', self.parse)

    # 非空验证
    def validateIsNull(self, user_id):
        if user_id.strip() == '':
            return None
        else:
            return user_id

    # 获取最大页数
    def max_page(self, response):
        max_num = int(response.xpath('//div//a[last()-1]/text()').extract()[0])
        for i in range(1, max_num + 1):
            url = self.bash_url + self.user_id + '/v?page=' + str(i) + '&video_type=1'
            # print(url)
            yield Request(url, self.parse)

    # 获取页面需要的数据
    def parse(self, response):
        item = AiquerItem()
        # 注释代码块用来做测试的,小伙伴可以拿出来一个一个测试
        '''
        names = response.xpath('//ul/li//div//p//a/@title').extract()
        times = response.xpath('//div//span[@class="mod-listTitle_right"]/text()').extract()
        imgurls = response.xpath('//div[@class="site-piclist_pic"]//a//img/@src').extract()
        urls = response.xpath('//div[@class="site-piclist_pic"]//a/@href').extract()
        print(names)
        print(times)
        print(imgurls)
        print(urls)
        '''
        # 通过xpath去寻找HTML页面中指定数据封装在items类中
        item['video_name'] = response.xpath('//ul/li//div//p//a/@title').extract()
        item['video_time'] = response.xpath('//div//span[@class="mod-listTitle_right"]/text()').extract()
        item['video_imgurl'] = response.xpath('//div[@class="site-piclist_pic"]//a//img/@src').extract()
        item['video_url'] = response.xpath('//div[@class="site-piclist_pic"]//a/@href').extract()
        return item

有同学肯定会问('//div[@class="site-piclist_pic"]//a/@href')这是啥玩意
Xpath:

XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。 
XPath基于XML的树状结构，提供在数据结构树中找寻节点的能力。 
起初XPath的提出的初衷是将其作为一个通用的、介于XPointer与XSL间的语法模型。

在这篇中是要有点XPath的基础的可以先去看看这个教程配合这个教程一起写提高XPath熟练度.
教程链接:XPath教程
接下来就是如何保存这些数据了
介绍两种一个是直接保存为文件,另外一个是保存到数据库
请看下篇