文章目录
- 简介
- 原理介绍
- 损失因子
- 核方法
- 高斯核函数
简介
如果我们有两个数据,要让你画一根直线你需要怎么划分他们呢?
上面画了三根直线来划分它,那如果是高纬度呢?
怎么用高于三个维度的 超维度平面来区分这些呢?
原理介绍
我们用二维数据来介绍一下,因为区分二维数据的方法有很多,就像我们上一个章节把两类划分,用了蓝色,红色,绿色,但是他们的间隔差距就不一样.(就如这个下面的图)
这个间隔的正中,就是我们的决策边界.当有数据需要判断的时候,我们就根据它的相对决策边界的相对位置,来进行判断分类.
将 边界上下移动C的距离,由于上下边界一定会经过一些样本数据点.它们的距离就决定了间隔距离,我们称它为支持向量
根据上面的方差有:
设下面的参数:
然后带入原方程:
然后可以将这些参数(W1,, W2,W3, )换成新的参数
然后可以有正超平面,负的超平面,决策超平面
这样我们就可以用决策超平面的位置进行分类.
目的就是最大化正负超平面的间隔距离L,
选中两个点一个是负超平面的点,一个是正超平面的点,上图的黄点
和绿点
得到等式 4
又选择Xp 和Xo ,带入直线,相减
可以得到等式(红框里的)
上面的公式4可以推导成如下
他的意思就是 他们是相互垂直的,然后我们看下面的图
然后我们得到了这个公式:
我们现在要求||W||的最大值
然后哪些点在图上是有约束的,然后我们用拉格朗日求最大值
然后就可以求解… 后面就是一些 求最大值的方法了.
损失因子
因为可能会有几个噪音点,我们是否把噪音点去掉,进行损失因子
这样就给了一些容错率,在间隔距离和错误大小间找到了一个平衡.(这里的距离被称为软间隔)
核方法
就是在低的平面也许数据无法区分
,但是到了高平面则可以区分
,那我们就可以将数据进行提升维度
但是你要想到维度转化函数
和跟多的空间