这里面margine（就是\(\Delta\)，正确框与错误框之间的差值）减去\(\varepsilon\)，即为了放宽约束或限制，使得margine变小，但限制不应该过宽，否则失去意义，\(\varepsilon\)越小越好，且要大于0（因为是松弛因子）
对于上式②，每个y^{n}都有这样的表达式，我们可能找不到一个w满足所有的不等式成立
训练时我们希望求得w满足训练集以上的不等式且\(\lambda Σ\varepsilon ^{n}\)是最小的，同时加上对应的正则式也满足最小化。
可以利用SVM包中的solver来解决以上的问题
是一个Quadratic Programming QP二次规划问题
约束条件过多，需要通过Cutting Plane Algorithm切割平面算法解决受限的问题。
Structured SVM - Cutting Plane Algorithm切割平面算法：
无约束条件的问题求解：假设我们先不考虑限制的部分，只考虑最小化部分，同时假设\(w\)只有一维，即\(w\)和\(ε\)为0时，对应的值最小。
有约束条件的问题求解：虽然有很多的约束条件，但是其中有很多的约束都是冗元（冗余元素），并不影响问题的解决，只有范围的切定边界条件有影响 - 将其称之Working Set有效集合。我先使用假定的一组有效集合（初始为空集合null，即没有任何约束），仅考虑作用集里面的y解决QP问题求出对应的w，再用w重新检查寻找新的约束元素加入集合中。不断地进行迭代直至求得的w不再变化。
我们使用w寻找要加入的新约束条件violated违背求解QP结果最严重的约束（即是当前最难搞定的约束）。直到所有难搞定的线条都要加入后区间内的pooint就是问题的解。约束条件是\(w \cdot \phi(x^{n},\hat{y}^{n}) - w \cdot \phi(x^{n},y) \geq \Delta(\hat{y}^{n},y) - \varepsilon ^{n}\)，违背最严重即是\(w\' \cdot \phi(x^{n},\hat{y}^{n}) - w\' \cdot \phi(x^{n},y) < \Delta(\hat{y}^{n},y) - \varepsilon\' ^{n}\)，将其转化为\(argmax[\Delta(\hat{n},y) + w \cdot \phi(x,y)]\)，求解得到就是违背最严重的约束。
多类别支持向量机：
Q1. 模型：\(F(x,y)=w \cdot \phi(x,y)\)，假设存在k类，w矩阵有k个权值向量。
Q2. 推理：穷举所有的y，使得\(F(x,y)\)最大化，这里的类通常数量很少，不像边界框，所以可以穷举。
Q3. 训练：求解\(w, \varepsilon^{1}..., \varepsilon^{n}\)，最小化\(C\)
对任意n有\(n(k-1)\)个约束
二元支持向量机：
Q3. 训练：\((w^{\hat{y}^{n}} - w^{y}) \cdot x \gep \Delta(\hat{y}^{n},y) - \varepsilon^{n}\)
如果\(\hat{y}^{n}=1\)，\(w^{1}-w^{2} -> w\)，则转为：\(w \cdot x \gep 1-\varepsilon^{n}\)
如果\(\hat{y}^{n}=2\)，\(w^{1}-w^{2} -> w\)，则转为：\(-w \cdot x \gep 1-\varepsilon^{n}\)
用结构化SVM概率联想二元SVM分类问题。
下一步支持向量机：
结构化SVM的模型是线性结构，如果想要结构化SVM的扩展性更好则需要定义更好的特征，较好的方法就是利用深度神经网络来生成特征。
与DNN不同的是，将DNN与结构化SVM一起训练可以同时更新两者的参数
可以再用一个DNN代替结构化SVM，即将(x,y)作为输入，F(x,y)（相似度标量）作为输出。
第二十六章 结构化学习 - Sequence labeling 序列标注
Sequence Labeling序列标注问题为：模型要寻找的目标函数的输入是一个序列（序列向量形式），输出也是一个序列，并且假设输入输出的序列长度相同，该任务可以利用RNN（循环神经网络）来解决，但是本章使用的是基于结构化学习的方法进行解决（两步骤，三问题）
Example Task：POS tagging词性标注任务
标记一个句子中每一个词的词性
输入一个句子，模型会将每个词进行标注，eg. 专有名词，形容词动词等
仅靠查表不够完成，因为需要联系上下文信息才能确定词性
Outline：HMM，CRF，Structured Perceptron/SVM，Towards Deep Learning
Hidden Markov Model HMM隐马尔科夫模型 - 生成句子：
步骤一：