【机器学习与R语言】9- 支持向量机

1.理解支持向量机（SVM）
2. 支持向量机应用示例

1）SVM特点

支持向量机和神经网络都是“黑箱模型”的代表：潜在的模型基于复杂的数学系统，而且结果难以解释。
SVM的目标是创建一个平面边界（“超平面”），使得任何一边的数据划分都是均匀的。结合了kNN和线性回归。
几乎适用于所有的学习任务，包括分类和数值预测。

2）用超平面分类

线性可分：可以由一条直线或一个平面进行划分

【机器学习与R语言】9- 支持向量机

最大间隔超平面（MMH）：很多线都能对数据点进行分类，但要寻找能使类形成最大间隔的那条线（因为在边界附近点位置的微小变化可能导致某些点落在线之外），支持向量就是每个类中最接近最大间隔超平面的点。所以单独使用支持向量，就能定义最大间隔超平面。

【机器学习与R语言】9- 支持向量机

线性可分条件下，最大间隔超平面要尽可能远离两组数据点的外边界（“凸包”），最大间隔超平面就是两个凸包之间的最短距离直线的垂直平分线，可通过“二次优化”算法实现。

【机器学习与R语言】9- 支持向量机

非线性可分：数据不是线性可分的条件下，使用一个“松弛变量”来创建一个软间隔，允许一些点落在线不正确的一边。

【机器学习与R语言】9- 支持向量机

非线性可分中的成本参数C：即所有违反约束的点，试图使总成本最小，而非寻找最大间隔。修改C将调整对于落在超平面错误一边的案例的惩罚。C越大，实现100%分离的优化就越困难。较小的C将把重点放在更宽的整体边缘。

3）对非线性空间使用核函数

另一种处理非线性问题的方法，就是使用“核技巧”的处理将问题映射到一个更高维的空间，这样非线性关系可能会变为完全线性。

【机器学习与R语言】9- 支持向量机

从本质上讲，核技巧涉及一个添加能够表述度量特征之间数学关系新特征的过程。
非线性核SVM的特点：

【机器学习与R语言】9- 支持向量机

核函数：线性核函数（特征的点积），多项式核函数（加一个非线性数据变换），S形核函数（类似神经网络的S形激活函数），高斯RBF核函数（类似RBF神经网络）。多数情况下，核函数的选择是任意的，因为性能可能只有轻微的变化。

2. 支持向量机应用示例

使用SVM进行光学字符识别（OCR图像处理）：通过将印刷或手写文本转换为电子形式，保存在数据库种来处理纸质文件。

难点：

图像的规则模式很难严格定义
图像数据往往是噪声数据

1）收集数据

数据集包含26个大写英文字母的2000个案例，使用20种不同的随机重塑和扭曲的黑斯和白色字体印刷。
假设当图像字符被扫描到计算机，转换为像素，有16个统计属性（如水平垂直尺寸，黑色像素比例等）。
【机器学习与R语言】9- 支持向量机

数据下载：

链接: https://pan.baidu.com/s/1q8zHWkMZcapwnX90PA4hOg 提取码: eaqt

2）探索和准备数据

SVM需要所有特征都是数值型的，而且每一个特征需要缩小到一个相当小的区间内。所以不要有因子，而且要做标准化。这里略过没做。

## Example: Optical Character Recognition ----

## Step 2: Exploring and preparing the data ----
# read in data and examine structure
letters <- read.csv("letterdata.csv")
str(letters)

# divide into training and test data
letters_train <- letters[1:16000, ] #80%
letters_test  <- letters[16001:20000, ] #20%

3）训练数据

SVM的R包有e1071，klaR和kernlab等，这里用kernlab（与caret连用，允许SVM使用各种自动化方法进行训练和评估）。

kernlab::ksvm(target~predictors, 
                 data=mydata, 
                 kernel="rbfdot", #隐非线性映射，rbfdot/polydot/tanhdot/vanilladot
                 c=1) #违法约束条件的惩罚，较大的c值导致较窄的边界

训练：

## Step 3: Training a model on the data ----
# begin by training a simple linear SVM
library(kernlab)
letter_classifier <- ksvm(letter ~ ., data = letters_train,
                          kernel = "vanilladot")  #默认使用高斯RBF核函数，这里用线性函数

# look at basic information about the model
letter_classifier

【机器学习与R语言】9- 支持向量机

4）评估模型

letter_predictions <- predict(letter_classifier, letters_test)

head(letter_predictions)

table(letter_predictions, letters_test$letter)

【机器学习与R语言】9- 支持向量机

# look only at agreement vs. non-agreement
# construct a vector of TRUE/FALSE indicating correct/incorrect predictions
agreement <- letter_predictions == letters_test$letter
table(agreement)
prop.table(table(agreement))

【机器学习与R语言】9- 支持向量机
识别的准确度大概为84%。

5）提高性能

可以使用一个更复杂的核函数，将数据映射到更高维的空间，获得一个较好的模型拟合度。如试试高斯RF核函数，或者修改成本约束参数C值来修正决策边界的宽度。

## Step 5: Improving model performance ----
set.seed(12345)
letter_classifier_rbf <- ksvm(letter ~ ., data = letters_train, kernel = "rbfdot") #高斯RBF核函数
letter_predictions_rbf <- predict(letter_classifier_rbf, letters_test)

agreement_rbf <- letter_predictions_rbf == letters_test$letter
table(agreement_rbf)
prop.table(table(agreement_rbf))

【机器学习与R语言】9- 支持向量机

训练时间更长，将准确度提高到了93%。

本站文章如无特殊说明，均为本站原创，如若转载，请注明出处：【机器学习与R语言】9- 支持向量机 - Python技术站

【机器学习与R语言】9- 支持向量机

1）SVM特点

2）用超平面分类

3）对非线性空间使用核函数

2. 支持向量机应用示例

1）收集数据

2）探索和准备数据

3）训练数据

4）评估模型

5）提高性能

相关文章