线性回归模型----机器学习随笔三 (2)

同理,要知道一个回归模型的预测结果是否正确,就需要回归系数正确+观测结果正确这两个条件同时满足。回归模型预测的正确的概率,如下所示,

线性回归模型----机器学习随笔三

 

 

下面这个公式给出了 如何计算回归模型计算正确结果的概率 ,不仅仅与观测密度有关,还要乘以一个权值被正确选择的概率。

这 

线性回归模型----机器学习随笔三

可以理解为回归系数正确的概率(实际上表示回归系数)

线性回归模型----机器学习随笔三

 

最终化简为如下形式

线性回归模型----机器学习随笔三

 

这个公式表达的意思为:模型预测正确的概率与式子右边的指数函数成正比。

 

回到正题,我们要计算出能够使整个概率达到最大值的回归系数(权值)w。

这里用一个数学变换,将这个问题转换为找到下式的最小值。

线性回归模型----机器学习随笔三

 

线性回归模型----机器学习随笔三

如上市所述,我们引入了一个参数 λ,这个表示我们对模型误差大小的定义。

假如我们对模型非常有信心(我们的数据采集非常的顺利,几乎能肉眼看出数据关系的),那么可以取λ=0;

另一种情况就是相反的,我们的数据采集过程中存在大量的干扰项,那么可以取λ为无穷大。

λ的取值范围[0,∞),这在机器学习中是一个非常重要的参数。

 

 

2.4 回顾

 

1 根据线性回归的直观显示,去寻找数据要表达的真正意义;

2 根据对随机实验的特性,我们找到了定义误差的方法,并且拿到了趁手的工具(高斯分布函数),凭曲线救国,去寻早能使回归模型误差最小的的回归系数。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zwdyyx.html