python爬虫使用lxml解析数据编码乱码问题

问题状况:

response = requests.get(url=url, headers=headers).text
html = etree.HTML(response)
name = html.xpath("/html/body/div[2]/ul/li[1]/a/p/text()")[0]
print(name)

可以正常获取数据,但是结果是

å·²éª?è¯? å®?å?¨ ç?¾ç??

这样子的乱码

解决方法:

name = html.xpath("/html/body/div[2]/ul/li[1]/a/p/text()")[0].encode(‘ISO-8859-1‘).decode(‘UTF-8‘)

这边的UTF-8根据网页编码情况而定

看网页编码情况

F12

python爬虫使用lxml解析数据编码乱码问题

相关推荐