机器学习--线性回归与梯度算法 (2)

常见的最优化算法有梯度下降法（Gradient Descent）、牛顿法和拟牛顿法（Newton's method & Quasi-Newton Methods）、共轭梯度法（Conjugate Gradient）、 启发式优化方法等，本文详细介绍梯度算法。

明确下我们现在的目标：我们需要通过梯度算法求出---当在H取得最小的情况下，W0 ,W1 ,W2 ,W3 , ....... ,Wm的值，从而写出回归方程。

梯度算法分为梯度上升算法 和 梯度下降算法。梯度下降算法的基本思想是：要找到某函数的最小值，最好的方法是沿着该函数的梯度方向探寻，梯度上升则相反。对于一个有两个未知数x,y的函数f(x,y)，梯度表示为：

 

对于Z = f(x,y)，使用梯度下降算法的意味着 沿X轴方向移动

，沿Y的方向移动

，函数f(x,y)必须要在待计算的点上有定义并且可微。

可以通俗理解为：

梯度实际上是函数值变化最快的方向。比如说，你站在一个山上，梯度所指示的方向是高度变化最快的方向。你沿着这个方向走，能最快的改变（增加或是减小）你所在位置的高度，但是如果你乱走，可能走半天所在位置高度也没有变化多少。也就是说，如果你一直沿着梯度走，你就能最快的到达山的某个顶峰或低谷。所以实际上，梯度算法是用来搜索局部极小值或极大值的，它是实际应用中一种非常高效，高速且可靠的方法。