机器学习之支持向量机算法(二)

五、SVM求解实例

  上面其实已经得出最终的表达式了,下面我们会根据一些具体的点来求解α的值。数据:3个点,其中正例 X1(3,3) ,X2(4,3) ,负例X3(1,1) 如下图所示

   

机器学习之支持向量机算法(二)

  我们需要求解下式的极小值

   

机器学习之支持向量机算法(二)

  注意约束条件(在这里不要忘记了yi代表的是数据的类别,+1代表正例,-1代表负例

   

机器学习之支持向量机算法(二)

  代入数据,通过化简可以得到如下约束条件的表达式。

   

机器学习之支持向量机算法(二)

  将数据代入上式得到

   

机器学习之支持向量机算法(二)

  由于α1+α2-α3=0 -> α1+α2=α3: 化简可得:

  

机器学习之支持向量机算法(二)

  分别对α1和α2求偏导,偏导等于0可得: α1=1.5,α2=-1(并不满足约束条件αi >= 0,i=1,2,3 )所以这时求出来的α的值是无效的,那这个时候α的解应在边界上,也就是说要么α1=0,要么α2=0,再代入上式然后求偏导看下

   

机器学习之支持向量机算法(二)

  (这儿经过我的计算发现α2似乎等于正的2/13,应该是教程有些小问题,猜测可能是上式由α1+α2=α3化简这儿出了点小问题,但是对于答案似乎影响不大) ,所以经过计算最小值在(0.25,0,0.25)处取得 。

   

机器学习之支持向量机算法(二)

  上面的平面方程其实就是代表直线方程,也就是决策边界的方程

六、支持向量机?

  为什么会取支持向量机这样一个名字呢?

   

机器学习之支持向量机算法(二)

  我们可以发现决策边界只与α不等零的有关系,因为w=αiyi的累加和,所以α为0的点不起作用。

  可以得出所有边界上的点α值必然不等于0,也称作支持向量,所有非边界上的点α值必等于0,也称作非支持向量。支持向量机中的指的就是决策边界,而决策边界就是由支持向量所支撑的,支持向量就是边界点α值不为0的点,决定边界。如下图所示当取60个样本点和120个样本点时,只要添加的不是边界上的样本点,那么决策边界就是不变的。

   

机器学习之支持向量机算法(二)

七、软间隔 

  软间隔:有时候数据中有一些噪音点,如果考虑它们的话那咱们的决策边界线就不太好界定了,之前的方法要求把两类点完全分得开,这个要求有点过于严格了,我们来放松一点!

   

机器学习之支持向量机算法(二)

  为了解决该问题,引入松弛因子ξ

   

机器学习之支持向量机算法(二)

  那我们就有了新的目标函数:

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zyysdg.html