比值
表示样本为正例的可能性比反例的可能性，称为概率(odds)，反映了样本作为正例的相对可能性。概率的对数称为对数概率(log odds，也称为logit)。
逻辑回归模型参数估计，估计原理是极大似然估计法估计模型参数：
将参数b吸收，令：
则似然函数为：
对数似然函数为：
又由于
因此：
对
求极大值，
得到
的估计值
则逻辑回归模型为：
通常用梯度下降法或者拟牛顿法(后续章节会讲到)来求解该最大值问题。
以上讨论都是二类分类的逻辑回归模型，可将此推广到多类分类逻辑回归模型。设离散型随机变量 Y 的取值集合为：{1，2，...，K}，则多分类逻辑回归模型为：
其参数估计方法类似二类分类逻辑回归模型。
3.4 线性判别分析
似二类分
4. 梯度下降
4.1
5. 代码实现
6. sklearn代码实现