本篇文章分为两个部分,前一部分主要简单介绍K近邻,后一部分是一个例子

第一部分--K近邻简介

  从字面意思就可以容易看出,所谓的K近邻,就是找到某个样本距离(这里的距离可以是欧式距离,曼哈顿距离,切比雪夫距离等)最近的K个数据,根据最近的K个邻居属于什么分类,来判断这个样本属于什么分类。 

  简单说一下优缺点:

    优点:简单,适合于多分类问题(multi-modal,对象具有多个类别标签), kNN比SVM的表现要好。

    缺点:I:计算量大    II.如果某个分类占绝对优势,分类的效果很差,比如,印度阿三主要是黑人,如果你随便找个人,

       使用K近邻判断这个人是不是黑人,这个人周围可能都是黑人,所以不适合这种类型的数据集。

第二部分--实战例子

  数据集:iris数据集,这是个什么样的数据集呢?

    通过3种鸢尾属植物的花的四个属性(萼片长度(sepal length)、萼片宽度sepalwidth)、花瓣长度(petal length)和花瓣宽度(petal width)) 来判断属于哪一种鸢尾属植物,这三种鸢尾属植物分别是setosa、versic010r和virginica。

  数据集地址:iris数据集     将数据复制到txt文件中。

  代码:

import csv
import random
import math
import operator

#装载数据集
def loadDataset(filename, split, trainingSet = [], testSet = []):
    with open(filename, 'rt') as csvfile:
        lines = csv.reader(csvfile)
        dataset = list(lines)
        for x in range(len(dataset)-1):
            for y in range(4):
                # print(type(dataset[x][y]))
                dataset[x][y] = float(dataset[x][y])
            if random.random() < split:
                trainingSet.append(dataset[x])
            else:
                testSet.append(dataset[x])

#计算样本之间的欧式距离
def euclideanDistance(instance1, instance2, length):
    distance = 0
    for x in range(length):
        distance += pow((instance1[x]-instance2[x]), 2)
    return math.sqrt(distance)

#找到相邻的k个样本
def getNeighbors(trainingSet, testInstance, k):
    distances = []
    length = len(testInstance)-1
    for x in range(len(trainingSet)):
        #testinstance
        dist = euclideanDistance(testInstance, trainingSet[x], length)
        distances.append((trainingSet[x], dist))
    """
        operator模块提供的itemgetter函数用于获取对象的哪些维的数据,参数为一些序号
    """
    #distances是一个list里面放的tuple,tuple第二个元素是距离,这里就是根据距离排序,默认升序
    distances.sort(key=operator.itemgetter(1))
    neighbors = []
    for x in range(k):
        neighbors.append(distances[x][0])
    return neighbors

#找到k个样本中出现最多的分类,并返回
def getResponse(neighbors):
    classVotes = {}
    for x in range(len(neighbors)):
        response = neighbors[x][-1]
        if response in classVotes:
            classVotes[response] += 1
        else:
            classVotes[response] = 1
    """
        注意,python3中字典的iteritems()方法已经取消,只有item()
    """
    # sortedVotes = sorted(classVotes.iteritems(), key=operator.itemgetter(1), reverse=True)
    """
        sort 与 sorted 区别:
        sort 是应用在 list 上的方法,sorted 可以对所有可迭代的对象进行排序操作。
        list 的 sort 方法返回的是对已经存在的列表进行操作,而内建函数 sorted 方法返回的是一个新的 list,而不是在原来的基础上进行的操作。
        reverse -- 排序规则,reverse = True 降序 , reverse = False 升序(默认)
    """

    """
        print(classVotes)
        输出格式为:{'Iris-versicolor': 1, 'Iris-virginica': 2}
    """

    """
        print(classVotes.items())
        输出格式为:dict_items([('Iris-versicolor', 1), ('Iris-virginica', 2)])
    """
    sortedVotes = sorted(classVotes.items(), key=operator.itemgetter(1), reverse=True)

    """
        print(sortedVotes)
        输出格式为:[('Iris-virginica', 3)]
    """
    return sortedVotes[0][0]

#得到最后全部测试样本的预测准确率
def getAccuracy(testSet, predictions):
    correct = 0
    for x in range(len(testSet)):
        if testSet[x][-1] == predictions[x]:
            correct += 1
    return (correct/float(len(testSet)))*100.0

#主函数
def main():
    #prepare data
    trainingSet = []
    testSet = []
    split = 0.67  #0.67相当于2/3,就是说2/3是训练集,1/3是测试集,整个iris数据集中有150个数据
    loadDataset(r'../data/DTree/irisdata.txt', split, trainingSet, testSet)
    # print(trainingSet)
    print ('训练集样本数: ' + repr(len(trainingSet)))
    print ('测试集样本数: ' + repr(len(testSet)))
    #generate predictions
    predictions = []
    k = 3
    for x in range(len(testSet)):
        # trainingsettrainingSet[x]
        neighbors = getNeighbors(trainingSet, testSet[x], k)
        result = getResponse(neighbors)
        predictions.append(result)
        if result == testSet[x][-1]:
            correct = True
        else:
            correct = False
        print ('预测结果:' + repr(result) + ', 实际值=' + repr(testSet[x][-1]) + ',  是否预测正确=' + repr(correct))
    accuracy = getAccuracy(testSet, predictions)
    #整个测试集预测准确率
    print('准确率: ' + repr(accuracy) + '%')

if __name__ == '__main__':
    main()

输出结果为:

训练集样本数: 109
测试集样本数: 41
预测结果:'Iris-setosa', 实际值='Iris-setosa',  是否预测正确=True
预测结果:'Iris-setosa', 实际值='Iris-setosa',  是否预测正确=True
预测结果:'Iris-setosa', 实际值='Iris-setosa',  是否预测正确=True
预测结果:'Iris-setosa', 实际值='Iris-setosa',  是否预测正确=True
预测结果:'Iris-setosa', 实际值='Iris-setosa',  是否预测正确=True
预测结果:'Iris-setosa', 实际值='Iris-setosa',  是否预测正确=True
预测结果:'Iris-setosa', 实际值='Iris-setosa',  是否预测正确=True
预测结果:'Iris-setosa', 实际值='Iris-setosa',  是否预测正确=True
预测结果:'Iris-setosa', 实际值='Iris-setosa',  是否预测正确=True
预测结果:'Iris-setosa', 实际值='Iris-setosa',  是否预测正确=True
预测结果:'Iris-setosa', 实际值='Iris-setosa',  是否预测正确=True
预测结果:'Iris-versicolor', 实际值='Iris-versicolor',  是否预测正确=True
预测结果:'Iris-versicolor', 实际值='Iris-versicolor',  是否预测正确=True
预测结果:'Iris-versicolor', 实际值='Iris-versicolor',  是否预测正确=True
预测结果:'Iris-versicolor', 实际值='Iris-versicolor',  是否预测正确=True
预测结果:'Iris-versicolor', 实际值='Iris-versicolor',  是否预测正确=True
预测结果:'Iris-versicolor', 实际值='Iris-versicolor',  是否预测正确=True
预测结果:'Iris-versicolor', 实际值='Iris-versicolor',  是否预测正确=True
预测结果:'Iris-versicolor', 实际值='Iris-versicolor',  是否预测正确=True
预测结果:'Iris-versicolor', 实际值='Iris-versicolor',  是否预测正确=True
预测结果:'Iris-versicolor', 实际值='Iris-versicolor',  是否预测正确=True
预测结果:'Iris-versicolor', 实际值='Iris-versicolor',  是否预测正确=True
预测结果:'Iris-versicolor', 实际值='Iris-versicolor',  是否预测正确=True
预测结果:'Iris-versicolor', 实际值='Iris-versicolor',  是否预测正确=True
预测结果:'Iris-versicolor', 实际值='Iris-versicolor',  是否预测正确=True
预测结果:'Iris-versicolor', 实际值='Iris-versicolor',  是否预测正确=True
预测结果:'Iris-virginica', 实际值='Iris-virginica',  是否预测正确=True
预测结果:'Iris-virginica', 实际值='Iris-virginica',  是否预测正确=True
预测结果:'Iris-virginica', 实际值='Iris-virginica',  是否预测正确=True
预测结果:'Iris-virginica', 实际值='Iris-virginica',  是否预测正确=True
预测结果:'Iris-virginica', 实际值='Iris-virginica',  是否预测正确=True
预测结果:'Iris-virginica', 实际值='Iris-virginica',  是否预测正确=True
预测结果:'Iris-virginica', 实际值='Iris-virginica',  是否预测正确=True
预测结果:'Iris-virginica', 实际值='Iris-virginica',  是否预测正确=True
预测结果:'Iris-versicolor', 实际值='Iris-virginica',  是否预测正确=False
预测结果:'Iris-virginica', 实际值='Iris-virginica',  是否预测正确=True
预测结果:'Iris-virginica', 实际值='Iris-virginica',  是否预测正确=True
预测结果:'Iris-virginica', 实际值='Iris-virginica',  是否预测正确=True
预测结果:'Iris-virginica', 实际值='Iris-virginica',  是否预测正确=True
预测结果:'Iris-virginica', 实际值='Iris-virginica',  是否预测正确=True
预测结果:'Iris-virginica', 实际值='Iris-virginica',  是否预测正确=True
准确率: 97.5609756097561%