Python处理中文编码和判断编码

在开发自用爬虫过程中,有的网页是utf-8,有的是gb2312,有的是gbk,如果不加处理,采集到的都是乱码,解决的方法是将html处理成统一的utf-8编码

针对Python2.7。

代码如下:

html = html_1
else :
html = html_1.decode('gbk','ignore').encode('utf-8')
#有以上处理,整个html就不会是乱码。

Python 的详细介绍:请点这里
Python 的下载地址:请点这里

相关推荐