Python使用xslt提取网页数据
在python网络爬虫内容提取器一文我们详细了解了核心部件:可插拔的内容提取器gsExtractor。本文记录了确定gsExtractor的技术路线过程中所做的编程实验。这是第一部分,实验了xslt方式一次性提取静态网页内容并转换成xml格式。
用lxml库实现网页内容提取
Lxml是python的一个库,可以迅速,灵活地处理XML Path Language(XPath)和Extensible Stylesheet Language Transformation (XSLT),并且实现了常见的ElementTree API.
这2天测试了在python中通过xslt来提取网页内容,记录如下:
1.抓取目标
假设要提取论坛的帖子标题和回复数,要把整个列表提取出来,存成xml格式
2.源代码1:只抓当前页,结果显示在控制台
Python的又是是用很少两代码就能解决一个问题,请注意下面的买吗看起来很长,其实python函数调用没有几个,大篇幅被一个xslt脚本占去了,在这段代码中,只有一个好长的字符串而已,至于为什么选择xslt,而不是离散的xpath或者让人挠头的正则表达式,我们期望通过这个构架,把程序员的时间节省下来一大半。
相关推荐
夜斗不是神 2020-11-17
huavhuahua 2020-11-20
Yasin 2020-11-16
xiaoseyihe 2020-11-16
千锋 2020-11-15
diyanpython 2020-11-12
chunjiekid 2020-11-10
wordmhg 2020-11-06
YENCSDN 2020-11-17
lsjweiyi 2020-11-17
houmenghu 2020-11-17
Erick 2020-11-17
HeyShHeyou 2020-11-17
以梦为马不负韶华 2020-10-20
lhtzbj 2020-11-17
pythonjw 2020-11-17
dingwun 2020-11-16
lhxxhl 2020-11-16