机器学习之支持向量机算法(一) (2)

   

机器学习之支持向量机算法(一)

  这里的wTx+b就是我们的决策方程y(xi),这里我们需要去掉外面的这个绝对值符号,而根据上面这个表达式yi * y(xi) > 0,经过化简可以得出以下的一个距离的表达式 (由于yi * y(xi)>0所以将绝对值展开原式依旧成立):

   

机器学习之支持向量机算法(一)

  现在得到了这个问题中的距离公式,而现在我们的目标就是找出使这个函数的值最小但是两个参数(w,b)值却最大。如下式所示,min就是找到离决策边界最近的那个样本点,max就是找出w和b使最近的样本点到决策边界那条线的距离最远。

   

机器学习之支持向量机算法(一)

  上面的式子似乎太长了些,我们可以通过放缩变换来简化一下这个式子。对于决策方程(w,b)我们总可以通过一种放缩手段(比如同时乘以或者除以一个值)来使得其结果值|Y| >= 1,于是可以推导出  yi * (wTΦ(xi)+b) >= 1(之前我们认为恒大于0,现在严格了些)。由于 yi * (wTΦ(xi)+b) >= 1,也就是说 yi * (wTΦ(xi)+b) 的最小值就是1,那现在只需考虑下面这个式子就足够了。

   

机器学习之支持向量机算法(一)

  那这个函数就是最终的一个目标函数,也就是说需要求解出什么样的一个w来使得最终结果值越大越好。对于当前目标,我们需要求出一个极大值,注意当前约束条件yi * (wTΦ(xi)+b) >= 1

   

机器学习之支持向量机算法(一)

  常规套路就是将求解极大值问题转换为极小值问题=>minw,b(1/2 * w2),求1/w的最大值,相当于求w的最小值,也相当于求w2(消除掉绝对值的影响)的最小值,那为啥需要引入一个常数1/2呢,这是为了后面方便进行求导。如何求解,应用拉格朗日乘子法求解,拉格朗日主要解决的带约束的优化问题

   

机器学习之支持向量机算法(一)

  这个式子有点复杂,大概意思就是说在直接求带约束的优化问题的时候不太好求,那就需要转换一下,将我们需要求的变量转换为求一个中间变量的解,然后再找出这个中间变量的解与我们需要求解的变量之间的关系,这样就可以通过这个中间变量求出我们需要求解的变量。

  依照上式再将我们的需要求解的式子转换为 :(约束条件不要忘yi * (wTΦ(xi)+b) >= 1)这里多了一个参数α

   

机器学习之支持向量机算法(一)

四、SVM求解

  分别对w和b求偏导,分别得到两个条件(由于拉格朗日中的对偶性质KKT

   

机器学习之支持向量机算法(一)

  大概意思就是说在拉格朗日乘子法中先求解最大值然后求解最小值这个过程可以转换成先求解成最小值再求解成最大值。在这儿我们先求解这个函数的极小值, 首先在L(w,b,α)函数中对w,b分别求偏导,由于需要求解极值点,令其偏导等于0。

   

机器学习之支持向量机算法(一)

  可以看出w与α这个变量有了关系,就是说求出α也就求出了w。  然后继续接下来的求解,将上面求出的两个式子带回原式。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zzywwd.html