Python二进制串转换为通用字符串的方法

一个小问题

今天在做一个实验时，需要对一个包含中英文词汇的TXT文件进行读入和整理。

Python代码的编码规则为UTF-8。在读入时，文件的每行是二进制串，形如：

b'heroes\xff.....

在对每行进一步进行处理时，要求处理对象必须为通用字符串，所以：

lineVec = str(line).strip().split('\t')

此时的lineVec的元素类型为string,但输出是仍然是 “b'heros\xff…..” ，仍然无法摆脱二进制标志的影响。然而，尴尬的是，在后边对以lineVec元素作为键的字典进行索引时，只能获得通用字符串的键。所以，每次索引都以KeyError退出。

在多次尝试之后，我发现：二进制串在经过str()函数转化之后，已经将所有的内容都转化成了一个通用的字符串。也就是说，“b'heros\xff……”中的所有字符都是可以用python的字符串处理手段处理的。

给定一个 word=”b'heros”，如果希望得到通用字符串形式的单词”heros”，那么我们可以直接取字符串word的第3至最后一个字母，或将“b'”直接替换掉：

newWord = word[2:-1]
#或
newWord = word.replace("b'",'') #因为单引号是python中表示字符串的特殊功能字符，所以被替换的字

符写作'b''会报错。需要用双引号把单引号括起来。

在用上面的方法把字典键都更新了一遍之后，世界瞬间和谐了。

一些扩充

在解决上边的问题的过程中，搜索了许多相关的解决方法，对python中二进制串与通用字符串之间的转换有了一定的了解。但都是关于纯英语字符串转换的，对上边的中文字符无用。用下面方法转换中文字符串时会出现编码错误。

给定通用字符串 string = ‘a string' , 需要把它转换为二进制串时，可以直接调用字符串的内置方法：

print string
>>>a string

bstring = string.encode('ascii') # encode方法，参数用来指定编码标准
print bstring
>>>b'a string'

string1 = bstring.decode('ascii') # encode的逆，对二进制串进行解码
print string1
>>>a string

在进行文本文件读入和解析时，经常会遇到这样的二进制问题，希望对大家有所帮助。