Python动态页面爬起
一、Ajax数据爬取
1.Ajax介绍
Ajax,全称为Asynchronous JavaScript and XML,即异步的JavaScript和XML。 它不是一门编程语言,而是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。发送Ajax请求到网页更新过程,简单分为以下3步:发送请求;解析内容;渲染网页。
Ajax具有特殊的请求类型,它叫作xhr。
2.Ajax数据爬取
# 首先,定义一个方法来获取每次请求的结果。 在请求时,page是一个可变参数,所以我们将它作为方法的参数传递进来,相关代码如下: from urllib.parse import urlencode import requests base url = ‘https://m.weibo.cn/api/container/getlndex?‘ headers = { ‘Host‘: ‘m.weibo.cn‘, ‘Referer':‘https://m.weibo.cn/u/2830678474‘, ‘User-Agent‘:‘Mozilla/s.o (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36‘,‘X-Requested-With ‘:‘XMLHttpRequest‘, } def get_page(page)‘: params = { ‘type‘:‘uid‘, ‘value‘:‘2830678474‘, ‘containerid‘:‘1076032830678474‘, ‘page‘: page } url = base_url + urlencode(params) try: response = requests.get(url, headers=headers) if response.status_code == 200: return response.json() except requests.ConnectionError as e: print(‘ Error‘, e.args) # 随后,我们需要定义一个解析方法,用来从结果中提取想要的信息,比如这次想保存微博的id、正文、赞数、 评论数和转发数这几个内容, 那么可以先遍历cards,然后获取mblog 中的各个信息,赋值为一个新的字典返回即可: from pyquery import PyQuery as pq def parse _page (j son): if json: items = j son. get(‘ data ‘) .get(‘cards ‘) for item in items: item = item.get(‘mblog‘) weibo = {} weibo[ ‘id‘] = item.get(‘id‘) weibo[‘text‘] = pq(item.get(‘text‘)). text() weibo[‘attitudes‘] = item.get(‘attitudes_count‘) weibo [ ‘comments ‘] = item.get(‘comments_count‘) weibo[‘reposts‘] = item.get(‘reposts_count‘) yield weibo # 最后,遍历一下page,一共10页,将提取到的结果打印输出即可: if name == ‘main‘: for page in range(l, 11): json = get_page(page) results = parse_page(json) for result in results: print(result) # 加一个方法将结果保存到MongoDB数据库: from pymongo import MongoClient client = MongoClient () db = client [ ‘weibo‘ ] collection = db[‘weibo‘] def save_to_mongo(result): if collection.insert(result): print(‘save to Mongo‘)
二、Selenium库
Selenium是一个自动化测试工具,利用它可以驱动浏览器执行特定的动作,如点击、下拉等操作,同时还可以获取浏览器当前呈现的页面的源代码,做到可见即可爬。
1.声明浏览器对象
from selenium import webdriver browser = webdri ver. Chrome() browser = webdriver. Firefox() browser = webdri ver. Edge() browser = webdriver. PhantomJS() browser= webdriver.Safari() # 完成浏览器对象初始化并将其赋值为browser 对象。调用 browser对象,让其执行各个动作以模拟浏览器操作。
2.访问页面
from selenium import webdnver browser = webdriver.Chrome() browser. get (’https://www.taobao.com’ ) print(browser.page_source) browser. close() # 用get()方法来请求网页,参数传入链接URL即可。
3.查找节点
# 单个节点 find_element_by_id find_element_by_name find_element_by_xpath find_element_by_link_text find_element_by_partial_link_text find_element_by_tag_name find_element_by_class_name find_element_by_css_selector Selenium提供通用方法find_element(),它需要传入两个参数: 查找方式By和值。find_element(By.ID,id) from selenium import webdriver from selenium.webdriver.common.by import By browser = webdriver.Chrome() browser.get(‘https://www.taobao.com‘) input_first = browser.find_element(By.ID,‘q‘) print(input_first) browser.close() # 多个节点 要查找所有满足条件的节点,需要用find_elements()这样的方法
4.节点交互
Selenium可以驱动浏览器来执行一些操作,也就是说可以让浏览器模拟执行一些动作。
from selenium import webdriver import time browser = webdriver.Chrome() browser.get(‘https://www.taobao.com‘) input = browser.find_element_by_id(‘q‘) # send_keys()方法用于输入文字 input.send_keys(‘iPhone‘) time.sleep(1) # clear()方法用于清空文字 input.clear() input.send_keys(‘iPad‘) button = browser.find_element_by_class_name(‘btn-search‘) # click()方法用于点击按钮 button.click()
5.动作链
如鼠标拖曳、 键盘按键等,它们没有特定的执行对象,这些动作用另一种方式来执行,那就是动作链。 - 实现一个节点的拖曳操作,将某个节点从一处拖曳到另外一处 # 首先,打开网页中的一个拖曳实例,然后依次选中要拖曳的节点和拖曳到的目标节点,接着声明ActionChains对象并将其赋值为actions变量,然后通过调用actions变量的drag_and_drop()方法, 再调用perform()方法执行动作,此时就完成了拖曳操作 from selenium import webdnver from selenium.webdriver import ActionChains browser = webdriver.Chrome() url =’http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable‘ browser.get(url) browser.switch_to.frame(‘iframeResult‘) source = browser.find_element_by_css selector(‘#draggable‘) target= browser.find_element_by_css_selector(‘#droppable‘ ) actions = ActionChains(browser) actions.drag_and_drop(source, target) actions.perform()
6.JavaScript执行
对于某些操作,Selenium API并没有提供。 比如,下拉进度条,它可以直接模拟运行JavaScript,
此时使用execute script()方法即可实现,代码如下:
from selenium import webdriver browser= webdriver.Chrome() browser. get (’https://www.zhihu.com/explore‘) browser.execute_script(‘window.scrollTo(o, document.body.scrollHeight)’) browser.execute_script(‘alert(”To Bottom”)‘) # 这里就利用execute script()方法将进度条下拉到最底部,然后弹出alert提示框。
7.获取节点信息
- 获取属性
# 使用get_attribute()方法来获取节点的属性 from selenium import webdriver from selenium.webdriver import ActionChains browser = webdri ver. Chrome() url = ‘https://www.zhihu.com/explore‘ browser. get ( url) logo= browser.find_element_by_id(’zh-top-link-logo’) print(logo) print(logo.get_attribute(’class‘ ))
- 获取文本值
from selenium import webdriver browser= webdriver.Chrome() url =’https://www.zhihu.com/explore’ browser. get(url) input = browser.find_element by class name(‘zu-top-add-question’) print(input.text)
- 获取id、位置、标签名和大小
from. selenium import webdnver browser = webdriver. Chrome() url =’https://www.zhihu.com/explore‘ browser.get (url) input= browser.find_element_by_class_name(’zu-top-add-question‘) print(input.id) # 节点id print(input.location) # 节点页面相对位置 print(input.tag_name) # 标签名称 print(input.size) # 节点大小
8.Frame切换
网页中有一种节点叫作iframe,也就是子Frame,相当于页面的子页面,它的结构和外部网页的结构完全一致。 Selenium打开页面后,它默认是在父级Frame里面操作,而此时如果页面中还有子Frame,它是不能获取到子Frame里面的节点的。 这时就需要使用switch_to.frame()方法来切换Frame。
import time from selenium import webdriver from selenium.common.exceptions import NoSuchElementException browser = webdriver.Chrome() url = ‘http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable‘ browser.get(url) browser.switch_to.frame(‘iframeresult’) try: logo= browser.find_element_by_class_name(‘logo‘) except NoSuchElementException: print(’NO LOGO‘) browser.switch_to.parent_frame) logo = browser. find_element_by_class_name(‘logo‘) print(logo) print(logo.text)
首先通过switch_to. frame()方法切换到子Frame里面,然后尝试获取父级Frame 里的logo 节点(这是不能找到的),如果找不到的话,就会抛出NoSuchElementException异常,异常被捕捉之后,就会输出NO LOGO。 接下来,重新切换回父级Frame,然后再次重新获取节点,发现此时可以成功获取了。
- 隐式等待
使用隐式等待执行测试的时候,如果Selenium没有在DOM中找到节点,将继续等待,超出设定时间后,则抛什1找不到节点的异常。 换句话说,当查找节点而节点并没有立即出现的时候,隐式等待将等待一段时间再查找DOM,默认的时间是0。
from selenium import webdriver browser = webdriver.Chrome() browser.implicitly_wait (10) browser.get(’https://www.zhihu.com/explore‘ ) input = browser. find_element_by_class_name(’zu-top-add-question’) print(input)
- 显式等待
隐式等中认为固定了等待时间,然而页面的加载时间会受到网络条件的影响。
显式等待方法,它指定要查找的节点,然后指定一个最长等待时间。 如果在规定时间内加载出这个节点,就返回查找的节点;如果到了规定时间依然没有加载出来,则抛出超时异常。
# 首先引入WebDriverWait这个对象,指定最长等待时间,然后调用它的until()方法,传入要等待条件expected_conditions。 比如,这里传入了presence_of_element_located这个条件,代表节 点出现的意思,其参数是节点的定位元组,也就是ID为q的节点搜索框。 - 效果:在10秒内如果ID为q的节点(即搜索框)成功加载出来,就返回该节点;如果超过10秒还没有加载出来,就抛出异常。 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC browser = webdriver.Chrome() browser.get(’https://www.taobao.com/’) wait = WebDriverWait(browser, 10) input = wait. until(EC. presence_of _element_located( (By. ID,’q’))) button = wait.until(EC.element to be clickable((By.CSS_SELECTOR,’.btn search‘))) print(input, button)
9.前进、后退
浏览器时都有前进和后退功能,Selenium中分别通过forward()、back()方法实现。
import time from selenium import webdnver browser = webdriver.Chrome() browser. get (’https://www.baidu.com/’) browser.get(‘https://www.taobao.com/’) browser.get(’https://www.python.org/’) browser.back() time.sleep(l) browser. forward() browser. close()
10.Cookies
from selenium import webdriver browser = webdriver.Chrome() browser.get(‘https://www.zhihu.com/explore‘) print(browser.get_cookies()) browser.add_cookie({‘name‘:‘name‘,‘domain‘:‘www.zhihu.com‘,‘value‘:‘germey‘}) browser.delete_all_cookies()
11.选项卡管理
import time from selenium import webdnver browser = webdriver. Chrome() browser.get(’https://www.baidu.com‘) browser.execute_script(’window. open()’) print(browser. window _handles) browser.switch_to_window(browser.window_handles[l]) browser.get(’https://www.taobao.com‘) time.sleep(l) browser.switch_to_window(browser.window_handles(0)) browser.get(’https://python.org‘)
12.异常处理
from selenium import webdriver from selenium.common.exceptions import TimeoutException, NoSuchElementExcephon browser = webdriver.Chrome() try: browser.get(‘https://www.baidu.com’) except TimeoutException: print(‘ Time Out‘) try: browser. find_element_by_id(‘ hello‘) except NoSuchElementException: print(’No Element’) finally: browser.close()
三、Splash
Splash是一个JavaScript渲染服务,是一个带有HTTPAPI的轻量级浏览器,它对接了Python中的Twisted和QT库。 利用它,我们同样可以实现动态谊染页面的抓取。
异步方式处理多个网页渲染过程;
获取渲染后的页面的源代码或截图;
通过关闭图片渲染或者使用Adblock规则来加快页面渲染速度;
可执行特定的JavaScript脚本;
可通过Lua脚本来控制页面渲染过程;
获取渲染的详细过程并通过HAR( HTTP Archive )格式呈现
1.Splash Lua脚本
Splash可以通过Lua脚本执行一系列渲染操作,这样我们就可以用Splash来模拟类似Chrome、PhantomJS的操作。
- 入口及返回值
function main(splash, args) splash:go("http://www.baidu.com") splash:wait(o.s) local title = splash:evaljs(”document.title”) return {title=title} end
- 异步处理
function main(splash, args) local example_urls = {"www.baidu.com”,”www.taobao.com”,”www.zhihu.com‘’} local urls = args.urls or example_urls local results = {} for index,url in ipairs(urls) do local ok, reason = splash:go(”http://”..url) if ok then splash:wait(2) results[url] = splash:png() end end return results end
2.Splash对象属性
- args
# 此属性可获取加载时配置的参数,如URL function main(splash, args) local url = args.url end
- js_enabled
# 此属性是Splash的JavaScript执行开关,可以将其配置为true或false来控制是否执行JavaScript代码,默认为true。 function main(splash, args) splash:go(”https://www.baidu.com”) splash.js_enabled = false local title = splash:evaljs(”document.title") return {title=title} end
- resource_timeout
# 此属性可以设置加载的超时时间,单位是秒。 如果设置为0或nil,代表不检测超时。 function main(splash) splash.resource_timeout = 0.1 assert(splash:go(‘https://www.taobao.com‘)) return splash:png() end
- images_enabled
# 此属性可以设置图片是否加载,默认情况下是加载的。 function main(splash, args) splash.images_enabled = false assert(splash:go(’https://www.jd.com‘)) return {png=splash:png()} end
- plugins_enabled
# 此属性可以控制浏览器插件是否开启。 默认情况下,此属性是false,表示不开启。 splash.plugins_enabled = true/false
- scroll_position
# 通过设置此属性,可以控制页面上下或左右滚动。 function main(splash, args) assert(splash:go(‘https://www.taobao.com’)) splash.scroll_position = {y=400} return {png=splash: png()} end
3.Splash对象方法
go() # 用于请求某个链接,模拟GET和POST请求。 ok, reason = splash#go{url, baseurl=nil, headers=nil, http_method="GET", body=nil, formdata=nil} baseurl是资源加载相对路径,headers是请求头,http_method默认GET,body发POST请求时的表单数据,formdata是POST时的表单数据 wait() # 控制页面等待时间 jsfunc() # 可以直接调用JavaScript定义的方法,但是所调用的方法需要用双中括号包围,这相当于实现了JavaScript方法到Lua脚本的转换。 evaljs() # 执行JavaScript代码并返回最后一条JavaScript语句的返回结果 runjs() # 执行JavaScript代码,它与evaljs()的功能类似,但是更偏向于执行某些动作或声明某些方法。 autoload() # 设置每个页面访问时自动加载的对象 call_later() # 通过设置定时任务和延迟时间来实现任务延时执行,井且可以在执行前通过cancel()重新执行定时任务。 http_get() # 模拟发送HTTP的GET请求 http_post() # 用来模拟发送POST请求 set_content() # 用来设置页面的内容 html() # 用来获取网页的源代码 png() # 用来获取PNG格式的网页截图 jpeg() # 用来获取JPEG格式的网页截图 har() # 用来获取页面加载过程 url() # 获取当前正在访问的URL get_cookies() # 获取当前页面的Cookies add_cookies() # 为当前页面添加Cookie clear_cookies() # 清除所有的Cookies get_viewport_size() # 获取当前浏览器页面的大小,即宽高 set_viewport_size() # 设置当前浏览器页面的大小,即宽高 set_viewport_full() # 设置浏览器全屏显示 set_user_agent() # 设置浏览器的User-Agent set_custom_headers() # 设置请求头 select() # 选中符合条件的第一个节点,如果有多个节点符合条件,则只会返回一个,其参数是css选择器 select_all() # 选中所有符合条件的节点,其参数是css选择器 mouse_click() # 模拟鼠标点击操作,传入的参数为坐标值x和y。此外,也可以直接选中某个节点,然后调用此方法
4.Splash API调用
render.html # 此接口用于获取JavaScript渲染的页面的HTML代码,接口地址就是Splash的运行地址加此接口名称 import requests url = ‘http://localhost:8050/render.html?url=https://www.baidu.com‘ response = requests.get(url) print(response.text) render.pug # 此接口可以获取网页截图,它返回的是PNG格式的图片二进制数据 import requests url =‘http://localhost:8050/render.png?url=https://www.jd.com&wait=S&width=lOOO&height=700‘ response = requests.get(url) with open(’taobao.png’, ‘wb ’) as f: f.write(response.content) render.jpeg # 此接口可以获取网页截图,它返回的是JPEG格式的图片二进制数据 render.bar # 此接口用于获取页面加载的HAR数据 render.json # 此接口包含了前面接口的所有功能,返回结果是JSON格式 execute # 此接口可用于实现与Lua脚本的对接。
5.Splash负载均衡配置
用Splash做页面抓取时,如果爬取的量非常大,任务非常多,用一个Splash服务来处理的话,未免压力太大了,此时可以考虑搭建一个负载均衡器来把压力分散到各个服务器上。 这相当于多台机器多个服务共同参与任务的处理,可以减小单个Splash服务的压力。
第一步:配置Splash服务;第二步:配置负载均衡,选用任意一台带有公网IP的主机来配置负载均衡。首先,在这台主机上装好Nginx,然后修改Nginx的配置文件nginx.conf;第三步:配置认证,Splash是可以公开访问的,如果不想让其公开访问,还可以配置认证,这仍然借助于Nginx。可以在server的location字段中添加auth_basic和auth basic user_file字段;第四步:测试。
http { upstream splash { least_conn; server 41.159.27.223:8050; server 41.159. 27. 221: 8050; server 41.159. 27. 9: 8050: server 41.159 .117 .119: 8050; } server { listen 8050; location / { proxy_pass http://splash; auth basic ”Restricted"; auth basic user_file /etc/nginx/conf.d/.htpasswd; } } } import requests from urllib.parse import quote import re lua = ‘‘‘ function main(splash, args) local treat = require("treat‘’) local response = splash:http_get(’‘http://httpbin.org/get") return treat.as_string(response.body end ‘‘‘ url = ‘http://splash:8050/execute?lua_source=’+ quote(lua) response = requests.get(url, auth=(‘admin‘,‘admin’)) ip = re.search(‘(\d+\.\d+\.\d+\.\d+)‘, response.text).group(l) print(ip)
相关推荐
结束数据方法的参数,该如何定义?-- 集合为自定义实体类中的结合属性,有几个实体类,改变下标就行了。<input id="add" type="button" value="新增visitor&quo