html数据抽取方法对比
Python中常用的html数据抽取方法有正则、XPath和BeautifulSoup这三种。其中，最常用的XPath库是lxml。今天再介绍一个库SimplifiedDoc，一起比较一下他们的优劣。
1、安装
| 名称 | 安装方法 | 包大小 | 说明 |
|---|---|---|---|
| 正则 | 不需安装（内置） | ||
| lxml | pip install lxml | 4.5MB | 依赖c语言库 |
| BeautifulSoup | pip install beautifulsoup4 | 107kB | 如果不使用第三方库，则不需要别的安装 |
| SimplifiedDoc | pip install simplified-scrapy | 43kB | 没有第三方依赖 |
2、Python版本支持
这几种方法都同时支持Python2和Python3。
3、使用方法
对正则和XPath的使用方法，这里就不重复了，只简单对比下BeautifulSoup和SimplifiedDoc。下面的代码展示了两者实例化及提取数据的方法。
html = '''
<html>
<head>
<title>Example Domain</title>
</head>
<body>
<div id='test'>
test text
</div>
</body>
</html>
'''
# 例子：http://www.jsphp.net/python/show-24-214-1.html
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,features='html.parser')
soup = BeautifulSoup(html,features='lxml')
title = soup.title
# 取所有
divs = soup.findAll(id='test')
divs = soup.select('div#test')
# 取第一个
div = soup.find(id='test')
div = soup.select_one('div#test')
print (div.text)
# 例子：https://github.com/yiyedata/simplified-scrapy-demo/tree/master/doc_examples
from simplified_scrapy import SimplifiedDoc
doc = SimplifiedDoc(html)
title = doc.title
# 取所有
divs = doc.getElements('div',attr='id',value='test')
divs = doc.selects('div#test')
# 取第一个
div = doc.getElement('div',attr='id',value='test')
div = doc.select('div#test')
print (div.text)在使用方法上，有相似的地方，也有不同的地方，但是都挺简单的。这里特别提一下SimplifiedDoc中的getElement方法，每个方法中都有三个可选的参数start=None,end=None,before=None。使用这三个参数，可以帮助定位需要抽取的数据，在合适的时候，可以使抽取很方便。
4、性能对比
在处理速度上，对于正则，处理速度快，并且是有针对性的只处理需要的数据，所以比较公认的是处理速度最快的方式，但是使用起来相对困难。下面只对比lxml、BeautifulSoup、SimplifiedDoc这三种方式。对比代码如下：
from lxml import etree
from bs4 import BeautifulSoup
from simplified_scrapy import SimplifiedDoc
import time
html = '''
<!doctype html>
<html>
<head>
<title>Example Domain</title>
<meta charset="utf-8" />
<meta http-equiv="Content-type" content="text/html; charset=utf-8" />
<meta name="viewport" content="width=device-width, initial-scale=1" />
<style type="text/css">
body {
background-color: #f0f0f2;
margin: 0;
padding: 0;
font-family: -apple-system, system-ui, BlinkMacSystemFont, "Segoe UI", "Open Sans", "Helvetica Neue", Helvetica, Arial, sans-serif;
}
div {
width: 600px;
margin: 5em auto;
padding: 2em;
background-color: #fdfdff;
border-radius: 0.5em;
box-shadow: 2px 3px 7px 2px rgba(0,0,0,0.02);
}
a:link, a:visited {
color: #38488f;
text-decoration: none;
}
@media (max-width: 700px) {
div {
margin: 0 auto;
width: auto;
}
}
</style>
</head>
<body>
<div>
<h1>Example Domain</h1>
<p>This domain is for use in illustrative examples in documents. You may use this
domain in literature without prior coordination or asking for permission.</p>
<p><a href="https://www.iana.org/domains/example">More information...</a></p>
</div>
</body>
</html>
'''
start = time.time()
for i in range(0,1000):
root = etree.HTML(html)
text = root.xpath('//h1/text()')[0]
print (time.time()-start,text)
start = time.time()
for i in range(0,1000):
soup = BeautifulSoup(html,features='html.parser')
text = soup.h1.text
print (time.time()-start,text)
start = time.time()
for i in range(0,1000):
soup = BeautifulSoup(html,features='lxml')
text = soup.h1.text
print (time.time()-start,text)
start = time.time()
for i in range(0,1000):
doc = SimplifiedDoc(html)
text = doc.h1.html
print (time.time()-start,text)使用VSCode测试对比结果如下：
| 名称 | 调试模式耗时（单位：秒） |
|---|---|
| lxml | 0.10795402526855469 |
| BeautifulSoup(html.parser) | 2.5450849533081055 |
| BeautifulSoup(lxml) | 2.236968994140625 |
| SimplifiedDoc | 0.25988101959228516 |
| 名称 | 非调试模式耗时（单位：秒） |
|---|---|
| lxml | 0.12264490127563477 |
| BeautifulSoup(html.parser) | 0.799994945526123 |
| BeautifulSoup(lxml) | 0.7144896984100342 |
| SimplifiedDoc | 0.14832687377929688 |
不管调试模式或非调试模式，lxml的速度是最快的，SimplifiedDoc第二，BeautifulSoup第三。其中有一个奇怪的地方不知道是怎么回事，非调试模式下较调试模式下速度都相对提高，lxml却是变慢了。
5、总结
lxml不负众望速度是除正则外最快的，小众的SimplifiedDoc速度挺快，使用方法也简单，值得大家试用一下。
| 名称 | 安装难度 | 使用难度 | 速度 | 包大小 |
|---|---|---|---|---|
| 正则 | 无（内置） | 困难 | 最快 | 无 |
| lxml | 一般 | 一般 | 快 | 大 |
| BeautifulSoup | 简单 | 容易 | 慢 | 较小 |
| SimplifiedDoc | 简单 | 容易 | 较快 | 小 |
相关推荐
云中舞步 2020-11-12
杨德龙 2020-11-11
JohnYork 2020-10-16
wangzhaotongalex 2020-09-22
xiaoseyihe 2020-11-16
不要皱眉 2020-10-14
Crazyshark 2020-11-13
K先生 2020-11-10
momode 2020-09-11
思君夜未眠 2020-09-04
点滴技术生活 2020-08-21
MaggieRose 2020-08-19
kevinweijc 2020-08-18
wintershii 2020-08-17
vapaad 2020-08-17
wera00 2020-08-17
移动开发与培训 2020-08-16
ReunionIsland 2020-08-16
JimyFengqi 2020-08-16