逻辑回归线性回归梯度下降正规方程 (2)

但凡大于0的，都收敛于1；小于0的，都收敛于0；等于0的，恰好等于0.5。这样联合起来，得到：

，其含义是输出变量＝1的可能性，带有一定的概率含义。

。

同样的，我们必然要定义代价函数，也叫损失函数。怎么评定这条直线是最好的分类边界呢？

依然如上，我们用平方误差作为代价函数，带入我们的

,很不幸，当我们以

为自变量，代价函数

为因变量时，这个

是一个非凸函数。而非凸函数是极其性质不友好的函数，我们需要得到一个凸函数。

因此，我们不再用平方误差作为代价函数，而是用下面的：

 

 

梯度下降算法依然不变，仍然记住，之前的特征缩放很有必要。

至此，基本上思路上还有算法层面上的内容都已经搞定。我们可以明确的看出一个通用的道理，衡量任何一个模型好坏都需要一个代价函数，然后是逻辑回归和线性回归的代价函数是极其不一样的。

然后就是最常用的梯度下降算法，求取函数的局部最小值。

以后打算继续写一个牛顿方法的求法。mark一下。