使用Python PIL库实现简单验证码的去噪处理

想要识别验证码，收集足够多的样本后，首先要做的就是对验证码原始图片进行处理，对验证码识别分类之前，一般包括：将彩色图片转换成灰度图、将灰度图二值化和去除噪点三个基本过程。这里仅以比较简单的验证码为例，介绍一下如何通过Python的PIL库对图片去噪处理。

首先看一下未经处理的验证码图片：

对图片处理主要使用了PIL库的Image类。

1、彩色图片转换成灰度图

首先使用Image的open方法打开上面的图片，可以得到一个PIL.Image.Image对象，之后就可以调用convert、filter、point和putpixel等方法来处理图片。

我们可以通过convert方法将上面的彩色图片转换成灰度图：

# encoding=utf8
from PIL import Image
def main():
 image = Image.open('RandomPicture.png')
 imgry = image.convert('L')
 imgry.save('gray.png')

if __name__ == '__main__':
 main()

运行结果：

通过保存的图片可以看出来，已经由原来的彩图变成了灰度图，或者也可以认为是黑白图。什么叫灰度图？我们知道彩色图片是由不同的颜色的像素组合到一起的，那灰度图可以类似的认为是由不同灰度值的像素组合在一起后呈现出来的。任何颜色都有红、绿、蓝三原色组成，假如原来某点的颜色为RGB(R，G，B)，那么，我们可以通过下面几种方法，将其转换为灰度：
1.浮点算法：Gray=R*0.3+G*0.59+B*0.11
2.整数方法：Gray=(R*30+G*59+B*11)/100
3.移位方法：Gray =(R*76+G*151+B*28)>>8;
4.平均值法：Gray=（R+G+B）/3;
5.仅取绿色：Gray=G；

通过上述任一种方法求得Gray后，将原来的RGB(R,G,B)中的R,G,B统一用Gray替换，形成新的颜色RGB(Gray,Gray,Gray)，用它替换原来的RGB(R,G,B)就是灰度图了。

用代码实现看一下：

# encoding=utf8
from PIL import Image
def main():
 image = Image.open('RandomPicture.png')
 print ('image mode: ', image.mode)
 print (image.getpixel((0, 0)))
 print ('-' * 40)
 imgry = image.convert('L')
 print ('imgry mode: ', imgry.mode)
 print (imgry.getpixel((0, 0)))

if __name__ == '__main__':
 main()

​运行结果：
image mode:  RGB
(234, 235, 236)
----------------------------------------
imgry mode:  L
234
[Finished in 0.1s]

代码说明：

通过image.mode方法可以获得当前的PIL.Image.Image对象（也就是当前打开的图片）的mode值，而mode值表示图片的单位颜色是由RGB三个值组成的还是由灰度值组成的；

而getpixel可以获取某个像素的RGB值或者灰度值。我们知道图片是由许多像素组成的，每个像素在图片上都有一个对应的坐标x和y，而“(0, 0)”就表示该图片左上角顶点的像素。

由上面的结果我们可以知道，在将图片转换成灰度图之前，“(0, 0)”代表的像素的颜色是由RGB组成的：(21, 10, 26)；在通过concert将彩色图片转换成灰度后，“(0, 0)”代表的像素的颜色值就变成了一个值：“15”，通过打印imgry.mode我们也可以知道，此时图片已经变成了灰度图，它的每一个像素的颜色都变成了一个灰度值。

其实这时候我们也可以简单的计算一下，使用前面说的浮点算法将上面的(21, 10, 26)三个值带入计算：
>>> 21*0.3+10*0.59+26*0.11
15.059999999999999

结果显示确实由浮点算法将RGB值变成了灰度值。

2、灰度图二值化

我们已经得到了灰度图，接下来就是将灰度图二值化。所谓二值化就是将灰度图像转换成由黑白二色组成的图像。思路就是确定一个阈值，大于阈值的像素表示为白色，小于阈值的像素表示为黑色，以此将图片的像素（灰度值）划分为两部分：0和1，例如0代表黑色，1代表白色，然后我们就可以用一串0和1组成的数字来表示一张图片。

将灰度图二值化会用到point方法，它可以接收一个灰度转二值的映射table，具体原理暂时还没弄明白，代码实现过程是这样的：

# encoding=utf8
from PIL import Image
def get_bin_table(threshold=115):
 '''
 获取灰度转二值的映射table
 0表示黑色,1表示白色
 '''
 table = []
 for i in range(256):
  if i < threshold:
   table.append(0)
  else:
   table.append(1)
 return table

def main():
 image = Image.open('RandomPicture.png')
 imgry = image.convert('L')
 table = get_bin_table()
 binary = imgry.point(table, '1')
 binary.save('binary.png')

if __name__ == '__main__':
 main()

运行结果：

通过结果不难看出，我们已经将最开始的彩色图由灰度图转变成了仅由黑白二色组成的图片，实现了二值化。这里需要说明的是，threshold参数值针对当前的验证码图片合适，该值需要根据验证码类型不同进行调试来确定。

然后我们再看看(0, 0)坐标代表的像素的颜色值是什么：

# encoding=utf8
from PIL import Image
def  get_bin_table(threshold=115):

 '''
 获取灰度转二值的映射table
 0表示黑色,1表示白色
 '''
 table  = []
 for i in range(256):
  if i < threshold:
    table.append(0)
  else:
   table.append(1)
 return table



def main():
 image = Image.open('RandomPicture.png')
 print 'image  mode: ', image.mode
 print image.getpixel((0, 0))
 co =  image.getcolors()
 print co
 print '-' * 40
 imgry =  image.convert('L')
 print 'imgry mode: ', imgry.mode
 print  imgry.getpixel((0, 0))
 co = imgry.getcolors()
 print co
 print '-' *  40
 table = get_bin_table()
 binary = imgry.point(table, '1')
 print  'binary mode: ', binary.mode
 print binary.getpixel((0, 0))
 co =  binary.getcolors()
 print co



if __name__ == '__main__':
 main()

运行结果：

image mode:  RGB
(234, 235, 236)
None
----------------------------------------
imgry mode:  L
234
[(1, 16), (1, 17), (3, 18), (3, 20), (3, 21), (2, 22), (3, 24), (2, 25), (1, 26), (3, 28), (1, 29), (6, 31), (15, 32), (136, 33), (193, 34), (115, 35), (52, 36), (25, 37), (24, 38), (16, 39), (7, 40), (4, 41), (3, 42), (4, 43), (2, 44), (4, 45), (4, 46), (2, 48), (4, 49), (2, 50), (4, 51), (4, 52), (2, 53), (11, 54), (18, 55), (21, 56), (71, 57), (61, 58), (24, 59), (15, 60), (17, 61), (11, 62), (8, 63), (11, 64), (8, 65), (10, 66), (6, 67), (4, 68), (5, 69), (9, 70), (7, 71), (11, 72), (11, 73), (6, 74), (16, 75), (22, 76), (15, 77), (19, 78), (12, 79), (16, 80), (11, 81), (17, 82), (24, 83), (29, 84), (18, 85), (35, 86), (18, 87), (22, 88), (23, 89), (25, 90), (19, 91), (21, 92), (19, 93), (29, 94), (25, 95), (20, 96), (17, 97), (15, 98), (16, 99), (24, 100), (21, 101), (14, 102), (23, 103), (20, 104), (15, 105), (15, 106), (12, 107), (16, 108), (19, 109), (18, 110), (10, 111), (15, 112), (16, 113), (31, 114), (16, 115), (21, 116), (15, 117), (15, 118), (19, 119), (15, 120), (14, 121), (23, 122), (17, 123), (17, 124), (17, 125), (10, 126), (19, 127), (18, 128), (10, 129), (11, 130), (9, 131), (13, 132), (21, 133), (12, 134), (18, 135), (15, 136), (9, 137), (20, 138), (20, 139), (15, 140), (21, 141), (30, 142), (30, 143), (35, 144), (35, 145), (122, 146), (43, 147), (36, 148), (32, 149), (21, 150), (37, 151), (30, 152), (45, 153), (33, 154), (31, 155), (37, 156), (37, 157), (37, 158), (33, 159), (51, 160), (64, 161), (47, 162), (32, 163), (39, 164), (48, 165), (51, 166), (55, 167), (126, 168), (64, 169), (217, 170), (263, 171), (85, 172), (44, 173), (39, 174), (44, 175), (38, 176), (60, 177), (43, 178), (54, 179), (47, 180), (64, 181), (55, 182), (56, 183), (44, 184), (66, 185), (64, 186), (56, 187), (66, 188), (68, 189), (86, 190), (108, 191), (93, 192), (112, 193), (83, 194), (67, 195), (68, 196), (75, 197), (65, 198), (69, 199), (70, 200), (88, 201), (111, 202), (71, 203), (74, 204), (83, 205), (73, 206), (94, 207), (119, 208), (92, 209), (114, 210), (89, 211), (87, 212), (96, 213), (106, 214), (85, 215), (82, 216), (103, 217), (106, 218), (99, 219), (140, 220), (134, 221), (126, 222), (114, 223), (137, 224), (140, 225), (137, 226), (148, 227), (137, 228), (126, 229), (118, 230), (135, 231), (137, 232), (120, 233), (187, 234), (168, 235), (226, 236), (358, 237), (354, 238), (288, 239), (194, 240), (201, 241), (219, 242), (245, 243), (250, 244), (303, 245), (303, 246), (389, 247), (412, 248), (569, 249), (792, 250), (1410, 251), (3198, 252), (5163, 253), (6040, 254), (2028, 255)]
----------------------------------------
binary mode:  1
1
[(1768, 0), (30998, 1)]
[Finished in 0.1s]

代码说明：

通过binary mode的值我们可以知道二值化后得到的图片的像素值由0或1表示，而且当前(0, 0)代表的像素值的为0，它代表黑色，通过上面的图片我们也可以知道，左上角顶点确实是黑色的。

上面的代码中我们还使用了getcolors方法，它用来返回像素信息，是一个含有元素的列表：[(该种像素的数量，(该种像素)),(...),...]，当该列表特别大的时候，它会返回None，这也是为什么上面彩色图片调用getcolors的时候会返回None。而[(503, 0), (1993, 1)]就表示我们得到的二值化黑白图片，由503个黑色像素点和1993个白色像素点组成。

通过binary.size我们可以得到二值化后的黑白图片的width和height值：(78, 32)，它就表示该图片由78X32个像素点组成，正好等于503+1993的和。(78, 32)也说明该图片横向上共有32行，每行有78个像素点。将由0和1表示的图片打印出来看一下：

# encoding=utf8
from PIL import Image
def get_bin_table(threshold=115):
    '''
    获取灰度转二值的映射table
    0表示黑色,1表示白色
    '''
    table = []
    for i in range(256):
        if i < threshold:
            table.append(0)
        else:
            table.append(1)
    return table
def main():
    image = Image.open('RandomPicture.png')
    imgry = image.convert('L')
    table = get_bin_table()
    binary = imgry.point(table, '1')
    width, height = binary.size
    lis = binary.getdata()    # 返回图片所有的像素值，要使用list()才能显示出具体数值
    lis = list(lis)
    start = 0
    step = width
    for i in range(height):
        for p in lis[start: start+step]:
            if p == 1:    # 将白色的点变成空格，方便人眼看
                p = ' '
            print p,
        print
        start += step
if __name__ == '__main__':
    main()

运行结果：

通过上面的结果已经大致可以看出该图片表示的就是“959c”。

3、去除噪点

由上面的结果也不难看出，除了表示“959c”的“0”，图片中还有其他的“0”代表的“噪点”，我们要尽可能的去除它们，方便后期的识别训练。

对于去除噪点代码实现：

# encoding=utf8
from PIL import Image
def sum_9_region_new(img, x, y):
 '''确定噪点 '''
 cur_pixel = img.getpixel((x, y))  # 当前像素点的值
 width = img.width
 height = img.height

 if cur_pixel == 1:  # 如果当前点为白色区域,则不统计邻域值
  return 0

 # 因当前图片的四周都有黑点，所以周围的黑点可以去除
 if y < 3:  # 本例中，前两行的黑点都可以去除
  return 1
 elif y > height - 3:  # 最下面两行
  return 1
 else:  # y不在边界
  if x < 3:  # 前两列
   return 1
  elif x == width - 1:  # 右边非顶点
   return 1
  else:  # 具备9领域条件的
   sum = img.getpixel((x - 1, y - 1)) \
      + img.getpixel((x - 1, y)) \
      + img.getpixel((x - 1, y + 1)) \
      + img.getpixel((x, y - 1)) \
      + cur_pixel \
      + img.getpixel((x, y + 1)) \
      + img.getpixel((x + 1, y - 1)) \
      + img.getpixel((x + 1, y)) \
      + img.getpixel((x + 1, y + 1))
   return 9 - sum

def collect_noise_point(img):
 '''收集所有的噪点'''
 noise_point_list = []
 for x in range(img.width):
  for y in range(img.height):
   res_9 = sum_9_region_new(img, x, y)
   if (0 < res_9 < 3) and img.getpixel((x, y)) == 0:  # 找到孤立点
    pos = (x, y)
    noise_point_list.append(pos)
 return noise_point_list

def remove_noise_pixel(img, noise_point_list):
 '''根据噪点的位置信息，消除二值图片的黑点噪声'''
 for item in noise_point_list:
  img.putpixel((item[0], item[1]), 1)

def get_bin_table(threshold=115):
 '''获取灰度转二值的映射table,0表示黑色,1表示白色'''
 table = []
 for i in range(256):
  if i < threshold:
   table.append(0)
  else:
   table.append(1)
 return table

def main():
 image = Image.open('RandomPicture.png')
 imgry = image.convert('L')
 table = get_bin_table()
 binary = imgry.point(table, '1')
 noise_point_list = collect_noise_point(binary)
 remove_noise_pixel(binary, noise_point_list)
 binary.save('finaly.png')

if __name__ == '__main__':
 main()

运行结果：

通过截图可以知道，我们已经去除了图片四周的噪点以及一些孤立的噪点。

还要再说一句的就是，除了上面的步骤，我们还可以通过PIL的ImageEnhance,和ImageFilter对图片做其他处理（例如增加对比度、亮度、锐化等），这里就不举例说明了，因为不同的图片经过这些处理后，可能效果会不同。