同时，对每个松弛变量\(\xi_{i}\)支付一个代价\(\xi_{i},目标函数由原来的\)\(\frac{1}{2}{||w||}^2\)\(变为\)\(\frac{1}{2}{||w||}^2 + C\sum_{i=1}^n{\xi_i}\)
C为惩罚系数，一般由应用问题决定，C值大时对误分类的惩罚增大，C值小时对误分类惩罚小
线性不可分的线性支持向量机的学习问题编程如下凸二次规划问题：\[\min\limits_{w,b,\xi}\quad\frac{1}{2}{||w||^2}+ C\sum_{i=1}^n{\xi_i}\]
\[s_.t.\quad\ y_i(w\bullet{x_i}+b)\geq 1 - \xi_{i},\quad{i=1,2,...,N}\]
\[\xi_{i} >= 0,\quad i = 1,2,...,N\]
由此得到分离超平面：\[w^{*} \bullet x + b^{*} = 0\]
分类决策函数：\[f(x) = sign(w^{*} \bullet x + b^{*})\]
拉格朗日对偶函数：
\[maxL(a) = -\frac{1}{2}\sum_{i=1}^n\sum_{j=1}^na_ia_jy_iy_jx_ix_j + \sum_{i=1}^na_i\]
s.t.
\[\sum_{i=1}^na_iy_i = 0\]
\[a_i >= 0\]
\[\mu_i >= 0\]
\[C-a_i-\mu_i = 0\]
在线性可分的情况下，训练数据集的样本点中与分离超平面距离最近的样本点的示例称为支持向量，支持向量是使约束条件成立的点，即\[\quad\ y_i(w\bullet{x_i}+b) - 1 = 0\]或\[yi(w\bullet x_i + b) - (1- \xi_{i}) = 0\],在\(y_i = +1\)的正例点，支持向量在超平面\[H_1:w^Tx + b = 1\]上，对\(y_i = -1\)的负例点，支持向量在超平面\[H_2:w^T x + b = -1\]上，此时\(H_1\)和\(H_2\)平行，并且没有实例点落在它们中间，在\(H_1\)和\(H_2\)之间形成一条长带，分离超平面与它们平行且位于它们中间，\(H_1和H_2\)之间的距离为间隔，间隔依赖于分割超平面的法向量\(w\),等于\(\frac{2}{|w|}\),\(H_1和H_2\)为间隔边界，如下图:
在决定分离超平面时只有支持向量起作用，而其他实例点并不起作用。如果移动支持向量将改变所求的解；但是如果在间隔边界以外移动其他实例点，甚至去掉这些点，则解是不会变的，由于支持向量在确定分离超平面中起着决定性的作用，所以将这种分类称为支持向量机。支持向量的个数一般很少，所以支持向量机由很少的‘很重要的’训练样本确定
3. 如何将线性不可分数据集转换为线性可分数据集 3.1 数据线性不可分的原因(1) 数据集本身就是线性不可分隔的
(2) 数据集中存在噪声，或者人工对数据赋予分类标签出错等情况的原因导致数据集线性不可分
3.2 常用方法将线性不可分数据集转换为线性可分数据集常用方法：
对于原因(2)
需要修正模型，加上惩罚系数C,修正后的模型，可以“容忍”模型错误分类的情况，并且通过惩罚系数的约束，使得模型错误分类的情况尽可能合理
对于原因(1)
(1)通过相似函数添加相似特征
(2)使用核函数(多项式核、高斯RBF核)，将原本的低维特征空间映射到一个更高维的特征空间，从而使得数据集线性可分
3.3 核技巧在支持向量机中的应用注意到在线性支持向量机的对偶问题中，无论是目标函数还是决策函数都只涉及输入实例与实例之间的内积，在对偶问题的目标函数中的内积\(x_ix_j\)可以用核函数\[K(x_i,x_j) = \phi (x_i)\bullet \phi(x_j)\]代替，此时对偶问题的目标函数成为\[maxL(a) = -\frac{1}{2}\sum_{i=1}^n\sum_{j=1}^na_ia_jy_iy_jK(x_i,x_j) + \sum_{i=1}^na_i\]
同样，分类决策函数中的内积也可以用核函数代替\[f(x) = sign(\sum_{i=1}^na_i^*y_iK(x_i,x)+b^*)\]
4 使用sklearn框架训练svmSVM特别适用于小型复杂数据集，samples < 100k
硬间隔分类有两个主要的问题：
(1) 必须要线性可分
(2) 对异常值特别敏感，会导致不能很好的泛化或无法找不出硬间隔
使用软间隔分类可以解决硬间隔分类的两个主要问题，尽可能保存街道宽敞和限制间隔违例(即位于街道之上，甚至在错误一边的实例)之间找到良好的平衡