Scrapy(五):CrawlSpider的使用
Scrapy(五):CrawlSpider的使用
说明 :CrawlSpider,就是一个类,是Spider的一个子类,也是一个官方类,因为是子类,所以功能更加的强大,多了一项功能:去指定的页面中来抓取指定的url的功能
比如:很多页码,都需要自己去查找规律,然后写代码实现其它页面的爬取,学完crawlspider之后,可以让它直接提取符合要求的页码url,将这些url扔给调度器即可
链接提取器,在scrapy中就是一个类,LinkExtractor
一、创建项目:
scrapy startproject qiubaiproject
二、创建CrawlSpider爬虫文件
scrapy genspider -t crawl qiu ‘www.qiushibaike.com‘
三、书写spider文件
# -*- coding: utf-8 -*- """ field: qiu.py """ import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from qiubaiproject.items import QiubaiprojectItem class QiuSpider(CrawlSpider): name = ‘qiu‘ allowed_domains = [‘www.qiushibaike.com‘] start_urls = [‘http://www.qiushibaike.com/‘] # 【注】如果使用crawlspider,parse方法不能重写,因为内部实现了很重要的功能 page_link = LinkExtractor(allow=r‘/8hr/page/\d+/‘) """ 在创建对象的时候,需要使用到一些规则,符合规则的都会提取出来 scrapy.linkextractors.LinkExtractor( allow = (), # 正则表达式 deny = (), # 正则表达式(不经常使用) allow_domains = (), # 域名,在域名下的提取出来(不经常使用) deny_domains = (), # 在这些下面的不要提取(不经常使用) restrict_xpaths = (), # 根据xpath路径来提取符合要求的链接 restrict_css = () # 根据选择器来提取 callback: 定制处理响应的回调函数, 注意callback的写法,和普通spider的写法不一样,普通 callback=self.parse crawl: callback=‘parse_item‘ follow: 是否跟进,提取了这些链接,这些链接获得响应之后,在响应里面要不要接着提取链接发送请求,如果要,follow=True 如果不要,follow=False follow是有默认值的,如果有callback,默认为False,如果没有callback,默认为True ) """ rules = ( Rule(page_link, callback=‘parse_item‘, follow=True), ) def parse_item(self, response): # 先找到所有的div div_list = response.xpath(‘//div[@id="content-left"]/div‘) # 遍历这个div的列表,依次获取里面的每一条信息 for odiv in div_list: # 创建对象 item = QiubaiprojectItem() # 用户头像 face = ‘https:‘ + odiv.xpath(‘.//div[1]//img/@src‘)[0].extract() # 用户的名字 name = odiv.xpath(‘.//div[1]//h2‘).extract()[0] # 用户的年龄 age = odiv.xpath(‘.//div[starts-with(@class,"articleGender")]‘).extract_first() # 获取用户内容 ospan = odiv.xpath(‘.//div[@class="content"]/span[1]‘)[0] content = ospan.xpath(‘string(.)‘).extract() # 用户的好笑个数 haha_count = odiv.xpath(‘.//div[@class="stats"]/span[@class="stats-vote"]/i/text()‘).extract()[0] # 获取评论个数 ping_count = odiv.xpath(‘.//div[@class="stats"]/span[@class="stats-comments"]//i/text()‘).extract()[0] # 将提取的信息保存起来 item[‘image_src‘] = face item[‘name‘] = name item[‘age‘] = age item[‘content‘] = content item[‘haha_count‘] = haha_count item[‘ping_count‘] = ping_count yield item
四、书写item.py文件
# -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # https://docs.scrapy.org/en/latest/topics/items.html import scrapy class QiubaiprojectItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() # 图片链接 image_src = scrapy.Field() # 用户名 name = scrapy.Field() # 年龄 age = scrapy.Field() # 内容 content = scrapy.Field() # 好笑个数 haha_count = scrapy.Field() # 评论个数 ping_count = scrapy.Field()
五、书写管道文件
# -*- coding: utf-8 -*- # Define your item pipelines here # # Don‘t forget to add your pipeline to the ITEM_PIPELINES setting # See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html import json class QiubaiprojectPipeline(object): # 爬虫启动的时候只会调用一次 def open_spider(self, spider): # 将文件的打开写道这里 self.fp = open(‘qiubai.json‘, ‘w‘, encoding=‘utf8‘) # 这个函数就是处理item的函数,每一个item过来都会回调这个方法 def process_item(self, item, spider): # 将对象转化为字典 obj = dict(item) # 将字典转化为json格式字符串 string = json.dumps(obj, ensure_ascii=False) self.fp.write(string + ‘\n‘) return item # 爬虫结束的时候回调这个方法 def close_spider(self, spider): self.fp.close()
六、修改setting文件
ROBOTSTXT_OBEY = True DOWNLOAD_DELAY = 4 #防止爬取过快丢失数据 DEFAULT_REQUEST_HEADERS = { "User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;", ‘Accept‘: ‘text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8‘ } ITEM_PIPELINES = { ‘tencent.pipelines.TencentPipeline‘: 300, }
七、运行爬虫程序
scrapy crawl qiu
相关推荐
andrewwf 2020-11-11
Arvinzx 2020-10-28
CycloneKid 2020-10-27
paleyellow 2020-10-25
baifanwudi 2020-10-25
heyboz 2020-10-21
wumxiaozhu 2020-10-16
ZHANGRENXIANG00 2020-07-27
zhangll00 2020-07-05
javaraylu 2020-06-28
ZHANGRENXIANG00 2020-06-28
Catastrophe 2020-06-26
Catastrophe 2020-06-26
fangjack 2020-06-25
andrewwf 2020-06-16
qyf 2020-06-14
荒乱的没日没夜 2020-06-14