基于python实现KNN分类算法

kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。
通俗简单的说，就是将这个样本进行分类，怎么分类，就是用该样本的特征与空间中其他样本做计算距离，当出现大多数距离偏向于某个样本类时，我们认为该样本属于这个类别。

举例说明：淘宝商品是按类进行售卖的，对于零食类商品a,b,c，价格与销量分别对应（19，1000），（89，500），（9.9，3000）对与电器类商品d,e,f，价格与销量分别为（1000，10），（499，30），（999，100），对于一个未知的产品（300，80），我们使用kNN算法进行求解，我们假设k=3（k的值要时情况而定，没有确定的）,分别求出未知产品到这六个点的欧式距离，即：sqrt((x1-y1)**2+(x2-y2)**2)计算出结果进行倒序排序，我们得出前三的点分别为：e,b,f。所以我们认为未知产品是电器类产品，当然实际生活中不能仅仅有价格，销量这两个二维数据，可能是n维数据，欧式距离的公式也是一样的，现实中也不仅仅有这两个分类，kNN提供了一种简单的解决思路。其中a,b,c,d,e,f称为训练数据，未知数据称为测试数据。
还有在进行计算时有时需要格式化一下数据，例如对于c产品与未知产品，明显计算销量所产生的数据要远大于价格，为了减小这个带来的误差，可以使用以下：

参考链接

def normData(dataSet):
  maxVals = dataSet.max(axis=0)#按列获取最大值，并返回数组
  minVals = dataSet.min(axis=0)
  ranges = maxVals - minVals
  retData = (dataSet - minVals) / ranges
  return retData, ranges, minVals

代码

#！／user/bin/env python
#-*- coding:utf-8 -*-
import numpy as np
import operator as opt

def normData(dataSet):#标准化训练集数据
  maxVals = dataSet.max(axis=0)
  minVals = dataSet.min(axis=0)
  ranges = maxVals - minVals
  retData = (dataSet - minVals) / ranges
  return retData, ranges, minVals

def kNN(dataSet, labels, testData, k):
  distSquareMat = (dataSet - testData) ** 2 # 计算差值的平方
  distSquareSums = distSquareMat.sum(axis=1) # 求每一行的差值平方和，axis=0则按列计算
  distances = distSquareSums ** 0.5 # 开根号，得出每个样本到测试点的距离
  sortedIndices = distances.argsort() # 排序，得到排序后的下标
  indices = sortedIndices[:k] # 取最小的k个
  labelCount = {} # 存储每个label的出现次数，出现次数最多的就是我们要选择的类别
  for i in indices:
    label = labels[i]
    labelCount[label] = labelCount.get(label, 0) + 1 # 次数加一，使用字典的get方法，第一次出现时默认值是0
  sortedCount = sorted(labelCount.items(), key=opt.itemgetter(1), reverse=True) # 对label出现的次数从大到小进行排序
  return sortedCount[0][0] # 返回出现次数最大的label

if __name__ == "__main__":#测试程序
  dataSet = np.array([[2, 3], [6, 8]])#训练集
  normDataSet, ranges, minVals = normData(dataSet)
  labels = ['a', 'b']#训练集分别为a和b类
  testData = np.array([3.9, 5.5])#测试数据
  normTestData = (testData - minVals) / ranges#同样需要将测试数据标准化
  result = kNN(normDataSet, labels, normTestData, 1)#k=1
  print(result)