【机器学习】K-means聚类分析

前言

聚类问题是无监督学习的问题,算法思想就是物以类聚,人以群分,聚类算法感知样本间的相似度,进行类别归纳,对新输入进行输出预测,输出变量取有限个离散值。本次我们使用两种方法对鸢尾花数据进行聚类。

  • 无监督就是没有标签的进行分类

K-means 聚类算法

K-means聚类算法(k-均值或k-平均)聚类算法。算法思想就是首先随机确定k个中心点作为聚类中心,然后把每个数据点分配给最邻近的中心点,分配完成后形成k个聚类,计算各个聚类的平均中心点,将其作为该聚类新的类中心点,然后迭代上述步骤知道分配过程不在产生变化。

算法流程

  • 随机选择K个随机点(成为聚类中心)
  • 对数据集中的每个数据点,按照距离K个中心点的距离,将其与距离最近的中心点关联起来,与同一中心点关联的所有点聚成一类
  • 计算每一组的均值,将改组所关联的中心点移动到平均值位置
  • 重复上两步,直至中心点不再发生变化

优缺点

优点:

  • 原理比较简单,实现容易,收敛速度快
  • 聚类效果比较优
  • 算法可解释度比较强
  • 主要需要调参的参数仅仅是簇数K

缺点:

  • K值选取不好把握
  • 不平衡数据集聚类效果不佳
  • 采用迭代方法,得到结果只是局部最优
  • 对噪音和异常点比较敏感

鸢尾花聚类

数据集

数据集:数据集采用sklern中的数据集

数据集分布图:我们可以看出数据的大致分布情况

image

使用sklearn中的模型

# 鸢尾花数据集 150 条数据

## 导包
import numpy as np
import matplotlib.pyplot as plt

# 导入数据集包
from sklearn import datasets

from sklearn.cluster import KMeans

## 加载数据据集
iris = datasets.load_iris()

X = iris.data[:,:4]
print(X.shape)  # 150*4

## 绘制二维数据分布图
## 前两个特征

plt.scatter(X[:,0],X[:,1],c='red',marker='o',label='see')
plt.xlabel('sepal length')
plt.ylabel('sepal width')
plt.legend(loc=2)
plt.show()

'''
直接调用包
'''

## 实例化K-means类,并定义训练函数
def Model(n_clusters):
    estimator = KMeans(n_clusters=n_clusters)
    return estimator
## 定义训练韩硕
def train(estimator):
    estimator.fit(X)


## 训练
estimator = Model(3)

## 开启训练拟合
train(estimator=estimator)


## 可视化展示

label_pred = estimator.labels_ # 获取聚类标签

## 找到3中聚类结构
x0 = X[label_pred==0]
x1 = X[label_pred==1]
x2 = X[label_pred==2]

plt.scatter(x0[:,0],x0[:,1],c='red',marker='o',label='label0')
plt.scatter(x1[:,0],x1[:,1],c='green',marker='*',label='label1')
plt.scatter(x2[:,0],x2[:,1],c='blue',marker='+',label='label2')

plt.xlabel('sepal length')
plt.ylabel('sepal width')
plt.legend(loc=2)
plt.show()

聚类结果

我们可以看出聚类结果按照我们的要求分为了三类,分别使用红、蓝、绿三种颜色进行了展示!
聚类效果图:
image

手写K-means算法

# 鸢尾花数据集 150 条数据

## 导包
import numpy as np
import matplotlib.pyplot as plt

# 导入数据集包
from sklearn import datasets

from sklearn.cluster import KMeans

## 加载数据据集
iris = datasets.load_iris()

X = iris.data[:,:4]
print(X.shape)  # 150*4

## 绘制二维数据分布图
## 前两个特征

plt.scatter(X[:,0],X[:,1],c='red',marker='o',label='see')
plt.xlabel('sepal length')
plt.ylabel('sepal width')
plt.legend(loc=2)
plt.show()

'''
直接手写实现
'''

'''
1、随机初始化 随机寻找k个簇的中心
2、对这k个中心进行聚类
3、重复1、2,知道中心达到稳定
'''

### 欧氏距离计算
def distEclud(x,y):
    return np.sqrt(np.sum((x-y)**2))

### 为数据集定义簇的中心
def randCent(dataSet,k):
    m,n = dataSet.shape
    centroids = np.zeros((k,n))
    for i in range(k):
        index = int(np.random.uniform(0,m))
        centroids[i,:] = dataSet[index,:]

    return centroids

## k均值聚类算法
def KMeans(dataSet,k):
    m = np.shape(dataSet)[0]

    clusterAssment = np.mat(np.zeros((m,2)))
    clusterChange = True

    ## 1 初始化质心centroids
    centroids = randCent(dataSet,k)

    while clusterChange:
        # 样本所属簇不在更新时停止迭代
        clusterChange = False

        # 遍历所有样本
        for i in range(m):
            minDist = 100000.0
            minIndex = -1

            # 遍历所有质心
            # 2 找出最近质心
            for j in range(k):
                distance = distEclud(centroids[j,:],dataSet[i,:])
                if distance<minDist:
                    minDist = distance
                    minIndex = j

            # 更新该行所属的簇
            if clusterAssment[i,0] != minIndex:
                clusterChange = True
                clusterAssment[i,:] = minIndex,minDist**2

        # 更新质心
        for j in range(k):
            pointsInCluster = dataSet[np.nonzero(clusterAssment[:,0].A == j)[0]] # 获取对应簇类所有的点
            centroids[j,:] = np.mean(pointsInCluster,axis=0)

    print("cluster complete")
    return centroids,clusterAssment


def draw(data, center, assment):
    length = len(center)
    fig = plt.figure
    data1 = data[np.nonzero(assment[:,0].A == 0)[0]]
    data2 = data[np.nonzero(assment[:,0].A == 1)[0]]
    data3 = data[np.nonzero(assment[:,0].A == 2)[0]]

    # 选取前两个数据绘制原始数据的散点

    plt.scatter(data1[:,0],data1[:,1],c='red',marker='o',label='label0')
    plt.scatter(data2[:,0],data2[:,1],c='green',marker='*',label='label1')
    plt.scatter(data3[:,0],data3[:,1],c='blue',marker='+',label='label2')

    # 绘制簇的质心点
    for i in range(length):
        plt.annotate('center',xy=(center[i,0],center[i,1]),xytext=(center[i,0]+1,center[i,1]+1),arrowprops=dict(facecolor='yellow'))

    plt.show()

    # 选取后两个维度绘制原始数据散点图
    plt.scatter(data1[:, 2], data1[:, 3], c='red', marker='o', label='label0')
    plt.scatter(data2[:, 2], data2[:, 3], c='green', marker='*', label='label1')
    plt.scatter(data3[:, 2], data3[:, 3], c='blue', marker='+', label='label2')

    # 绘制簇的质心点
    for i in range(length):
        plt.annotate('center', xy=(center[i, 2], center[i, 3]), xytext=(center[i, 2] + 1, center[i, 3] + 1),
                     arrowprops=dict(facecolor='yellow'))

    plt.show()


## 调用

dataSet = X
k = 3
centroids,clusterAssment = KMeans(dataSet,k)
draw(dataSet,centroids,clusterAssment)

效果图展示

我们可以看到手写实现的也通过三种颜色实现类,可以看出两种方式实现结果是几乎相同的。

  • 根据花萼长度花萼宽度聚类
    image

  • 根据花瓣长度花瓣宽度聚类:
    image

总结

我们既可以使用sklearn包中封装好的模型进行聚类分析,也可以自己手写实现,在某些问题上,两者都可以达到相同的结果,我们对于不同的问题可以更合适的方法进行处理。

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:【机器学习】K-means聚类分析 - Python技术站

(0)
上一篇 2023年4月2日
下一篇 2023年4月2日

相关文章

  • 【机器学习】线性回归预测

    前言 回归分析就是用于预测输入变量(自变量)和输出变量(因变量)之间的关系,特别当输入的值发生变化时,输出变量值也发生改变!回归简单来说就是对数据进行拟合。线性回归就是通过线性的函数对数据进行拟合。机器学习并不能实现预言,只能实现简单的预测。我们这次对房价关于其他因素的关系。 波士顿房价预测 下载相关数据集 数据集是506行14列的波士顿房价数据集,数据集是…

    2023年4月2日
    00
  • 【机器学习】手写数字识别

    前言 logistic回归,是一个分类算法,可以处理二元分类,多元分类。我们使用sklearn中的logistic对手写数字识别进行实践。 数据集 MNIST数据集来自美国国家标准与技术研究所,训练集由250个不同人手写数字构成,50%高中学生,50%来自人口普查局。 数据集展示 数据集下载 百度云盘:链接:https://pan.baidu.com/s/1…

    2023年4月2日
    00
  • 【深度学习】DNN房价预测

    前言 我们使用深度学习网络实现波士顿房价预测,深度学习的目的就是寻找一个合适的函数输出我们想要的结果。深度学习实际上是机器学习领域中一个研究方向,深度学习的目标是让机器能够像人一样具有分析学习的能力,能够识别文字、图像、声音等数据。我认为深度学习与机器学习最主要的区别就是神经元。 深度学习中重要内容 建立模型——神经元 基本构造 一个神经元对应一组权重w,a…

    2023年4月2日
    00
  • 【机器学习】支持向量机分类

    前言 支持向量机是一类按监督学习方式对数据进行二元分类的广义线性分类器,其决策边界是对学习样本求解的最大边距超平面。SVM尝试寻找一个最优决策边界,使距离两个类别最近的样本最远。SVM使用铰链损失函数计算经验风险并在求解系统中加入了正则化项以优化结构风险,是一个具有稀疏性和稳健性的分类器 。SVM可以通过核方法(kernel method)进行非线性分类,是…

    2023年4月2日
    00
  • 【机器学习】数据准备–python爬虫

    前言 我们在学习机器学习相关内容时,一般是不需要我们自己去爬取数据的,因为很多的算法学习很友好的帮助我们打包好了相关数据,但是这并不代表我们不需要进行学习和了解相关知识。在这里我们了解三种数据的爬取:鲜花/明星图像的爬取、中国艺人图像的爬取、股票数据的爬取。分别对着三种爬虫进行学习和使用。 体会 个人感觉爬虫的难点就是URL的获取,URL的获取与自身的经验有…

    2023年4月2日
    00
合作推广
合作推广
分享本页
返回顶部