拉格朗日对偶为带等式和不等式约束条件的优化问题构造拉格朗日函数，将其变为原问题，这两个问题是等价的。通过这一步变换，将带约束条件的问题转换成不带约束条件的问题。通过变换原始优化变量和拉格朗日乘子的优化次序，进一步将原问题转换为对偶问题，如果满足某种条件，原问题和对偶问题是等价的。这种方法的意义在于可以将一个不易于求解的问题转换成更容易求解的问题。在支持向量机中有拉格朗日对偶的应用。
KKT条件是拉格朗日乘数法对带不等式约束问题的推广，它给出了带等式和不等式约束的优化问题在极值点处所必须满足的条件。在支持向量机中也有它的应用。
看完这些，不少同学会安心不少，原来机器学习的数学基础知识大多已经学习过。除流形学习需要简单的微分几何概念之外，深层次的数学知识如实变函数，泛函分析等主要用在一些基础理论结果的证明上，即使不能看懂证明过程，也不影响我们使用具体的机器学习算法。概率图模型、流形学习中基于图的模型会用到图论的一些基本知识，如果学习过离散数学或者数据结构，这些概念很容易理解。
二、从机器学习的角度学习数学知识不少同学对数学知识的掌握比较扎实，但是一转入机器学习中，就不知道从何下手应用。这就是缺乏了从机器学习的角度看待数学知识的素质。如何把数学知识运用到机器学习的算法中去呢？首先就是要熟知机器学习的算法和理论中对应着哪些数学知识？
我们来看看典型算法和理论结论所用到的数学知识：
只有明白自己所学的数学知识可以应用到哪一块机器学习的算法或者理论中，才能更有针对的掌握对应的数学知识。另外无论是哪一门学问，都不是一蹴而就的，反反复复地去复习和运用知识，才能牢记掌握，机器学习中的数学知识也不例外。