菜鸟之路——机器学习之KNN算法个人理解及Python实现

2023年4月10日上午12:51 • 机器学习

KNN（K Nearest Neighbor）

还是先记几个关键公式

距离：一般用Euclidean distance E(x,y)√∑(x_i-y_i)² 。名字这么高大上，就是初中学的两点间的距离嘛。

还有其他距离的衡量公式，余弦值（cos），相关度（correlation）曼哈顿距离（manhatann distance）。我觉得针对于KNN算法还是Euclidean distance最好，最直观。

然后就选择最近的K个点。根据投票原则分类出结果。

首先利用sklearn自带的的iris数据集和KNN算法运行一下

 1 from sklearn import neighbors     #knn算法在neighbor包里
 2 from sklearn import datasets      #包含常用的机器学习的包
 3 
 4 knn=neighbors.KNeighborsClassifier()   #新建knn算法类
 5 
 6 iris=datasets.load_iris()              #加载虹膜这种花的数据
 7 #print(iris) #这是个字典有data，target，target_name，这三个key，太多了，就打印出来了
 8 
 9 knn.fit(iris.data,iris.target)
10 print(knn.fit(iris.data,iris.target)) #我也不知道为什么要这样fit一下形成一个模型。打印一下看看我觉得应该是为了记录一下数据的信息吧
11 
12 
13 predictedLabel=knn.predict([[0.1,0.2,0.3,0.4]])#预测一下
14 print(predictedLabel)
15 print("predictedName:",iris.target_names[predictedLabel[0]])

然后就自己写KNN算法啦

 1 import csv
 2 import random
 3 import math
 4 import operator
 5 
 6 #加载数据的
 7 def LoadDataset(filename,split):#split这个参数是用来分开训练集与测试集的，split属于[0,1]。即有多大的概率将所有数据选取为训练集
 8     trainingSet=[]
 9     testSet=[]
10     with open(filename,'rt') as csvfile:
11          lines=csv.reader(csvfile)
12          dataset=list(lines)
13          for x in range(len(dataset)-1):
14              for y in range(4):
15                  dataset[x][y]=float(dataset[x][y])
16              if random.random()<split:      #random.random()生成一个[0,1]之间的随机数
17                 trainingSet.append(dataset[x])
18              else:
19                  testSet.append(dataset[x])
20     return [trainingSet,testSet]
21 
22 #此函数用来计算两点之间的距离
23 def enclideanDinstance(instance1,instance2,length):#legdth为维度
24     distance=0
25     for x in range(length):
26         distance+=pow((instance1[x]-instance2[x]),2)
27     return math.sqrt(distance)
28 
29 #此函数选取K个离testInstance最近的trainingSet里的实例
30 def getNeighbors(trainingSet,testInstance,k):
31     distances=[]
32     length=len(testInstance)-1
33     for x in range(len(trainingSet)):
34         dist=enclideanDinstance(testInstance,trainingSet[x],length)
35         distances.append([trainingSet[x],dist])
36     distances.sort(key=operator.itemgetter(1))#operator.itemgetter函数获取的不是值，而是定义了一个函数，取列表的第几个域的函数。
37                                               # sort中的key也是用来指定取待排序元素的哪一项进行排序
38                                               #这句的意思就是按照distances的第二个域进行排序
39     neighbors=[]
40     for x in range(k):
41             neighbors.append(distances[x][0])
42     return neighbors
43 
44 #这个函数就是从K的最邻近的实例中利用投票原则分类出结果
45 def getResponce(neighbors):
46     classVotes={}
47     for x in range(len(neighbors)):
48         responce=neighbors[x][-1]
49         if responce in classVotes:
50             classVotes[responce]+=1
51         else:
52             classVotes[responce] = 1
53     sortedVotes=sorted(classVotes.items(),key=operator.itemgetter(1),reverse=True)
54     return sortedVotes[0][0]
55 
56 #这个函数从测试结果与真实结果中得出正确率
57 def getAccuracy(testSet,predictions):
58     corrrect=0
59     for x in range(len(testSet)):
60         if testSet[x][-1] ==predictions[x]:
61             corrrect+=1
62     return (corrrect/float(len(testSet)))*100
63 
64 def main():
65     split=0.67   #将选取67%的数据作为训练集
66     [trainingSet,testSet]=LoadDataset('irisdata.txt',split)
67     print("trainingSet:",len(trainingSet),trainingSet)
68     print("testSet",len(testSet),testSet)
69 
70     predictions=[]
71     k=3  #选取三个最邻近的实例
72     #测试所有测试集
73     for x in range(len(testSet)):
74         neighbors=getNeighbors(trainingSet,testSet[x],k)
75         result=getResponce(neighbors)
76         predictions.append(result)
77         print(">predicted",result,",actual=",testSet[x][-1])
78         
79     accuracy=getAccuracy(testSet,predictions)
80     print("Accuracy:",accuracy,r"%")
81     
82 if __name__ == '__main__':
83     main()

里面有我对代码的理解

运行结果为

trainingSet: 110 [[4.9, 3.0, 1.4, 0.2, 'Iris-setosa'], [4.7, 3.2, 1.3, 0.2, 'Iris-setosa'], [5.0, 3.6, 1.4, 0.2, 'Iris-setosa'], [5.4, 3.9, 1.7, 0.4, 'Iris-setosa'], [4.6, 3.4, 1.4, 0.3, 'Iris-setosa'], [4.4, 2.9, 1.4, 0.2, 'Iris-setosa'], [4.9, 3.1, 1.5, 0.1, 'Iris-setosa'], [5.4, 3.7, 1.5, 0.2, 'Iris-setosa'], [4.8, 3.4, 1.6, 0.2, 'Iris-setosa'], [4.3, 3.0, 1.1, 0.1, 'Iris-setosa'], [5.8, 4.0, 1.2, 0.2, 'Iris-setosa'], [5.7, 4.4, 1.5, 0.4, 'Iris-setosa'], [5.4, 3.9, 1.3, 0.4, 'Iris-setosa'], [5.7, 3.8, 1.7, 0.3, 'Iris-setosa'], [5.4, 3.4, 1.7, 0.2, 'Iris-setosa'], [4.6, 3.6, 1.0, 0.2, 'Iris-setosa'], [4.8, 3.4, 1.9, 0.2, 'Iris-setosa'], [5.0, 3.0, 1.6, 0.2, 'Iris-setosa'], [5.0, 3.4, 1.6, 0.4, 'Iris-setosa'], [5.2, 3.5, 1.5, 0.2, 'Iris-setosa'], [4.7, 3.2, 1.6, 0.2, 'Iris-setosa'], [4.8, 3.1, 1.6, 0.2, 'Iris-setosa'], [5.4, 3.4, 1.5, 0.4, 'Iris-setosa'], [5.2, 4.1, 1.5, 0.1, 'Iris-setosa'], [4.9, 3.1, 1.5, 0.1, 'Iris-setosa'], [5.0, 3.2, 1.2, 0.2, 'Iris-setosa'], [5.5, 3.5, 1.3, 0.2, 'Iris-setosa'], [4.4, 3.0, 1.3, 0.2, 'Iris-setosa'], [5.0, 3.5, 1.3, 0.3, 'Iris-setosa'], [4.5, 2.3, 1.3, 0.3, 'Iris-setosa'], [4.4, 3.2, 1.3, 0.2, 'Iris-setosa'], [5.1, 3.8, 1.9, 0.4, 'Iris-setosa'], [4.8, 3.0, 1.4, 0.3, 'Iris-setosa'], [5.1, 3.8, 1.6, 0.2, 'Iris-setosa'], [4.6, 3.2, 1.4, 0.2, 'Iris-setosa'], [5.3, 3.7, 1.5, 0.2, 'Iris-setosa'], [7.0, 3.2, 4.7, 1.4, 'Iris-versicolor'], [6.4, 3.2, 4.5, 1.5, 'Iris-versicolor'], [5.5, 2.3, 4.0, 1.3, 'Iris-versicolor'], [6.5, 2.8, 4.6, 1.5, 'Iris-versicolor'], [5.7, 2.8, 4.5, 1.3, 'Iris-versicolor'], [4.9, 2.4, 3.3, 1.0, 'Iris-versicolor'], [6.6, 2.9, 4.6, 1.3, 'Iris-versicolor'], [5.0, 2.0, 3.5, 1.0, 'Iris-versicolor'], [5.9, 3.0, 4.2, 1.5, 'Iris-versicolor'], [6.0, 2.2, 4.0, 1.0, 'Iris-versicolor'], [5.6, 2.9, 3.6, 1.3, 'Iris-versicolor'], [6.7, 3.1, 4.4, 1.4, 'Iris-versicolor'], [5.6, 3.0, 4.5, 1.5, 'Iris-versicolor'], [5.8, 2.7, 4.1, 1.0, 'Iris-versicolor'], [5.6, 2.5, 3.9, 1.1, 'Iris-versicolor'], [5.9, 3.2, 4.8, 1.8, 'Iris-versicolor'], [6.3, 2.5, 4.9, 1.5, 'Iris-versicolor'], [6.4, 2.9, 4.3, 1.3, 'Iris-versicolor'], [6.8, 2.8, 4.8, 1.4, 'Iris-versicolor'], [6.7, 3.0, 5.0, 1.7, 'Iris-versicolor'], [6.0, 2.9, 4.5, 1.5, 'Iris-versicolor'], [5.7, 2.6, 3.5, 1.0, 'Iris-versicolor'], [5.5, 2.4, 3.8, 1.1, 'Iris-versicolor'], [5.8, 2.7, 3.9, 1.2, 'Iris-versicolor'], [6.0, 2.7, 5.1, 1.6, 'Iris-versicolor'], [5.4, 3.0, 4.5, 1.5, 'Iris-versicolor'], [6.0, 3.4, 4.5, 1.6, 'Iris-versicolor'], [6.3, 2.3, 4.4, 1.3, 'Iris-versicolor'], [5.6, 3.0, 4.1, 1.3, 'Iris-versicolor'], [5.5, 2.6, 4.4, 1.2, 'Iris-versicolor'], [6.1, 3.0, 4.6, 1.4, 'Iris-versicolor'], [5.8, 2.6, 4.0, 1.2, 'Iris-versicolor'], [5.0, 2.3, 3.3, 1.0, 'Iris-versicolor'], [5.6, 2.7, 4.2, 1.3, 'Iris-versicolor'], [5.7, 3.0, 4.2, 1.2, 'Iris-versicolor'], [5.7, 2.9, 4.2, 1.3, 'Iris-versicolor'], [6.2, 2.9, 4.3, 1.3, 'Iris-versicolor'], [5.1, 2.5, 3.0, 1.1, 'Iris-versicolor'], [5.7, 2.8, 4.1, 1.3, 'Iris-versicolor'], [6.3, 3.3, 6.0, 2.5, 'Iris-virginica'], [5.8, 2.7, 5.1, 1.9, 'Iris-virginica'], [7.1, 3.0, 5.9, 2.1, 'Iris-virginica'], [6.5, 3.0, 5.8, 2.2, 'Iris-virginica'], [7.6, 3.0, 6.6, 2.1, 'Iris-virginica'], [4.9, 2.5, 4.5, 1.7, 'Iris-virginica'], [6.5, 3.2, 5.1, 2.0, 'Iris-virginica'], [6.4, 2.7, 5.3, 1.9, 'Iris-virginica'], [5.8, 2.8, 5.1, 2.4, 'Iris-virginica'], [6.4, 3.2, 5.3, 2.3, 'Iris-virginica'], [6.5, 3.0, 5.5, 1.8, 'Iris-virginica'], [7.7, 2.6, 6.9, 2.3, 'Iris-virginica'], [6.0, 2.2, 5.0, 1.5, 'Iris-virginica'], [6.9, 3.2, 5.7, 2.3, 'Iris-virginica'], [7.7, 2.8, 6.7, 2.0, 'Iris-virginica'], [6.3, 2.7, 4.9, 1.8, 'Iris-virginica'], [7.2, 3.2, 6.0, 1.8, 'Iris-virginica'], [6.2, 2.8, 4.8, 1.8, 'Iris-virginica'], [6.1, 3.0, 4.9, 1.8, 'Iris-virginica'], [6.4, 2.8, 5.6, 2.1, 'Iris-virginica'], [7.4, 2.8, 6.1, 1.9, 'Iris-virginica'], [6.4, 2.8, 5.6, 2.2, 'Iris-virginica'], [6.1, 2.6, 5.6, 1.4, 'Iris-virginica'], [7.7, 3.0, 6.1, 2.3, 'Iris-virginica'], [6.3, 3.4, 5.6, 2.4, 'Iris-virginica'], [6.4, 3.1, 5.5, 1.8, 'Iris-virginica'], [6.9, 3.1, 5.4, 2.1, 'Iris-virginica'], [6.7, 3.1, 5.6, 2.4, 'Iris-virginica'], [6.9, 3.1, 5.1, 2.3, 'Iris-virginica'], [5.8, 2.7, 5.1, 1.9, 'Iris-virginica'], [6.8, 3.2, 5.9, 2.3, 'Iris-virginica'], [6.7, 3.0, 5.2, 2.3, 'Iris-virginica'], [6.3, 2.5, 5.0, 1.9, 'Iris-virginica'], [6.5, 3.0, 5.2, 2.0, 'Iris-virginica'], [6.2, 3.4, 5.4, 2.3, 'Iris-virginica']]
testSet 40 [[5.1, 3.5, 1.4, 0.2, 'Iris-setosa'], [4.6, 3.1, 1.5, 0.2, 'Iris-setosa'], [5.0, 3.4, 1.5, 0.2, 'Iris-setosa'], [4.8, 3.0, 1.4, 0.1, 'Iris-setosa'], [5.1, 3.5, 1.4, 0.3, 'Iris-setosa'], [5.1, 3.8, 1.5, 0.3, 'Iris-setosa'], [5.1, 3.7, 1.5, 0.4, 'Iris-setosa'], [5.1, 3.3, 1.7, 0.5, 'Iris-setosa'], [5.2, 3.4, 1.4, 0.2, 'Iris-setosa'], [5.5, 4.2, 1.4, 0.2, 'Iris-setosa'], [4.9, 3.1, 1.5, 0.1, 'Iris-setosa'], [5.1, 3.4, 1.5, 0.2, 'Iris-setosa'], [5.0, 3.5, 1.6, 0.6, 'Iris-setosa'], [5.0, 3.3, 1.4, 0.2, 'Iris-setosa'], [6.9, 3.1, 4.9, 1.5, 'Iris-versicolor'], [6.3, 3.3, 4.7, 1.6, 'Iris-versicolor'], [5.2, 2.7, 3.9, 1.4, 'Iris-versicolor'], [6.1, 2.9, 4.7, 1.4, 'Iris-versicolor'], [6.2, 2.2, 4.5, 1.5, 'Iris-versicolor'], [6.1, 2.8, 4.0, 1.3, 'Iris-versicolor'], [6.1, 2.8, 4.7, 1.2, 'Iris-versicolor'], [6.6, 3.0, 4.4, 1.4, 'Iris-versicolor'], [5.5, 2.4, 3.7, 1.0, 'Iris-versicolor'], [6.7, 3.1, 4.7, 1.5, 'Iris-versicolor'], [5.5, 2.5, 4.0, 1.3, 'Iris-versicolor'], [6.3, 2.9, 5.6, 1.8, 'Iris-virginica'], [7.3, 2.9, 6.3, 1.8, 'Iris-virginica'], [6.7, 2.5, 5.8, 1.8, 'Iris-virginica'], [7.2, 3.6, 6.1, 2.5, 'Iris-virginica'], [6.8, 3.0, 5.5, 2.1, 'Iris-virginica'], [5.7, 2.5, 5.0, 2.0, 'Iris-virginica'], [7.7, 3.8, 6.7, 2.2, 'Iris-virginica'], [5.6, 2.8, 4.9, 2.0, 'Iris-virginica'], [6.7, 3.3, 5.7, 2.1, 'Iris-virginica'], [7.2, 3.0, 5.8, 1.6, 'Iris-virginica'], [7.9, 3.8, 6.4, 2.0, 'Iris-virginica'], [6.3, 2.8, 5.1, 1.5, 'Iris-virginica'], [6.0, 3.0, 4.8, 1.8, 'Iris-virginica'], [6.7, 3.3, 5.7, 2.5, 'Iris-virginica'], [5.9, 3.0, 5.1, 1.8, 'Iris-virginica']]
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-versicolor ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
Accuracy: 97.5 %

以下拓展几个知识点

1，random库的一些用法

random.randint(1,10)        # 产生 1 到 10 的一个整数型随机数  
random.random()             # 产生 0 到 1 之间的随机浮点数
random.uniform(1.1,5.4)     # 产生  1.1 到 5.4 之间的随机浮点数，区间可以不是整数
random.choice('tomorrow')   # 从序列中随机选取一个元素
random.randrange(1,100,2)   # 生成从1到100的间隔为2的随机整数
random.shuffle(a)           # 将序列a中的元素顺序打乱

2，排序函数

sorted(exapmle[, cmp[, key[, reverse]]])

example.sort(cmp[, key[, reverse]])

example是和待排序序列

cmp为函数，指定排序时进行比较的函数，可以指定一个函数或者lambda函数

key为函数，指定取待排序元素的哪一项进行排序

reverse实现降序排序，需要提供一个布尔值，默认为False（升序排列）。

程序中的第53行 sortedVotes=sorted(classVotes.items(),key=operator.itemgetter(1),reverse=True)就是按照sortedVotes的第二个域进行降序排列

key=operator.itemgetter(n)就是按照第n+1个域

写完喽，图书馆也该闭馆了。学习的感觉真舒服。接下来就是最出名的SVM算法啦

本站文章如无特殊说明，均为本站原创，如若转载，请注明出处：菜鸟之路——机器学习之KNN算法个人理解及Python实现 - Python技术站

机器学习

0 0 打赏

微信扫一扫

支付宝扫一扫

机器学习中规则化和模型选择知识

上一篇 2023年4月10日上午12:51

菜鸟之路——机器学习之Kmeans聚类个人理解及Python实现

下一篇 2023年4月10日

山东大学机器学习实验报告实验1 模式分类上机练习

作业：P64，2.5节，4：考虑上机题2中的3个类别，设p（wi）=1/3 （a）以下各测试点与上机练习2中各类别均值间的Mahalanobis距离分别是多少：（1，2，1）t，（5，3，2）t，（0，0，0）t，（1，0，0）t （b）对以上各点进行分类。（c）若设p（w1）=0.8，p（w2）=p（w3）=0.1，再对以上测试点进行分类。 …

机器学习 2023年4月11日
000
机器学习

Python_sklearn机器学习库学习笔记（五）k-means（聚类）

# K的选择：肘部法则如果问题中没有指定的值，可以通过肘部法则这一技术来估计聚类数量。肘部法则会把不同值的成本函数值画出来。随着值的增大，平均畸变程度会减小；每个类包含的样本数会减少，于是样本离其重心会更近。但是，随着值继续增大，平均畸变程度的改善效果会不断减低。值增大过程中，畸变程度的改善效果下降幅度最大的位置对应的值就是肘部。 import…

2023年4月10日
000
【人工智能】机器学习入门之监督学习（一）有监督学习

监督学习算法是常见算法之一，主要分为有监督学习和无监督学习。本文主要记录了有监督学习中的分类算法和回归算法，其中回归算法是本文最主要内容。机器学习入门之监督学习（一）有监督学习简介监督学习算法是常见算法之一，主要分为有监督学习和无监督学习。本文主要记录了有监督学习中的分类算法和回归算法，其中回归算法是本文最主要内容。本笔记对应视频：阿里云开发者社区学…

机器学习 2023年4月11日
000
机器学习树的算法总结

1.决策树骤如下：（1）：假设T为训练样本集。（2）：从属性集合Attributes中选择一个最能区别T中样本的属性。（3）：创建一个树节点，它的值为所选择的属性。创建此节点的子节点，每个子链代表所选属性的一个唯一值（唯一区间），使用子链的值进一步将样本细分为子类。对于每一个分支继续重复（2）（3）的过程，直到满足以下两个条件之一： (a):所有属…

机器学习 2023年4月15日
000
机器学习实践之决策树算法学习

关于本文说明，本人原博客地址位于http://blog.csdn.net/qq_37608890，本文来自笔者于2017年12月06日 18:06:30所撰写内容（http://blog.csdn.net/qq_37608890/article/details/78731169）。本文根据最近学习机器学习书籍网络文章的情况,特将一些学习思路做了归…

机器学习 2023年4月11日
000
机器学习-决策树-ID3决策树

原理看上一篇，这篇只有代码实现它以信息熵为度量标准，划分出决策树特征节点，每次优先选取信息量最多的属性，也就是使信息熵变为最小的属性，以构造一颗信息熵下降最快的决策树。缺点 ID3算法的节点划分度量标准采用的是信息增益，信息增益偏向于选择特征值个数较多的特征。而取值个数较多的特征并不一定是最优的特征，所以需要改进选择属性的节点划分度量标准 ID3算法递归…

机器学习 2023年4月13日
000
.net 平台下的AI框架 .NET平台开源项目速览(13)机器学习组件Accord.NET框架功能介绍

Aforge.net之旅——开篇：从识别验证码开始基于AForge.Net框架的扑克牌识别人工神经网络入门（4） —— AFORGE.NET简介 .NET开源工程推荐（Accord，AForge，Emgu CV）今日头条的核心技术细节是什么？ Factorization Machines 学习笔记（四）学习算法隐因子分解机Factorization …

机器学习 2023年4月13日
000
Java语言在Spark3.2.4集群中使用Spark MLlib库完成朴素贝叶斯分类器

一、贝叶斯定理贝叶斯定理是关于随机事件A和B的条件概率，生活中，我们可能很容易知道P（A|B），但是我需要求解P（B|A），学习了贝叶斯定理，就可以解决这类问题，计算公式如下： P（A）是A的先验概率 P（B）是B的先验概率 P（A|B）是A的后验概率（已经知道B发生过了） P（B|A）是B的后验概率（已经知道A发生过了）二、朴素贝叶斯分类朴素…

机器学习 2023年4月13日
000

菜鸟之路——机器学习之KNN算法个人理解及Python实现

相关文章