常用机器学习算法包括分类、回归、聚类等几大类型,以下针对不同模型总结其评估指标
一、分类模型
常见的分类模型包括:逻辑回归、决策树、朴素贝叶斯、SVM、神经网络等,模型评估指标包括以下几种:
(1)二分类问题
(a)混淆矩阵
准确率A:预测正确个数占总数的比例
精准率P:正例样本中有多少被预测正确了
召回率R:预测的正例样本中有多少是正确的
F1 Score(精准率与召回率集成):2P*R/(P+R)
(b)ROC曲线:ROC曲线应尽量偏离参考线,越靠近左上越好
(c)AUC:ROC曲线下面积,参考线面积为0.5,AUC应大于0.5,且偏离越多越好
(d)Lift曲线:表示“运用该模型”与“未运用该模型即随机选择”所得结果的比值,Lift应该移植大于1,且Lift(提升指数)越大,模型预测效果越好
(2)多分类问题
评价多分类模型一般采用准确率作为评估指标
二、回归模型
常见的回归模型包括线性回归、多项式回归、Lasso回归、岭回归、弹性网络、SVM、神经网络,评估指标见以下总结
(1)MSE
均方误差,SSE/m,值越小代表拟合效果越好,用来衡量不同模型对于同一数据集的拟合效果
(2)R^2
决定系数,1-SSE/SST,用于度量模型的解释能力,是相关系数的平方,取值范围为0~1,越接近1表示模型参考价值越高,在scikit-learn中LinearRegression.score就是使用的决定系数,也可以使用专门的库metrics.r2_score
(3)修正的R^2
在多元线性回归中,决定系数会虚高,加一个自变量就会增大,加公式进行修正 1-[SSE/(n-p-1)/[SST/(n-1)],得到修正的决定系数
三、聚类模型
常见的聚类模型有KMeans、密度聚类、层次聚类等,主要从簇内的稠密成都和簇间的离散程度来评估聚类的效果,评估指标包括:
(1)轮廓系数 Silhouette Corfficient
轮廓系数由凝聚度和分离度共同构成,组内SSE越小,组间SSB越大,聚类效果越好,轮廓系数在-1~1之间,值越大,聚类效果越好
(2)协方差系数 Calinski-Harabaz Index
类别内部数据协方差越小越好,类别之间协方差越大越好,这样协方差系数会越高。
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:机器学习模型评估指标总结 - Python技术站