同理,要知道一个回归模型的预测结果是否正确,就需要回归系数正确+观测结果正确这两个条件同时满足。回归模型预测的正确的概率,如下所示,
下面这个公式给出了 如何计算回归模型计算正确结果的概率 ,不仅仅与观测密度有关,还要乘以一个权值被正确选择的概率。
这
可以理解为回归系数正确的概率(实际上表示回归系数)
最终化简为如下形式
这个公式表达的意思为:模型预测正确的概率与式子右边的指数函数成正比。
回到正题,我们要计算出能够使整个概率达到最大值的回归系数(权值)w。
这里用一个数学变换,将这个问题转换为找到下式的最小值。
如上市所述,我们引入了一个参数 λ,这个表示我们对模型误差大小的定义。
假如我们对模型非常有信心(我们的数据采集非常的顺利,几乎能肉眼看出数据关系的),那么可以取λ=0;
另一种情况就是相反的,我们的数据采集过程中存在大量的干扰项,那么可以取λ为无穷大。
λ的取值范围[0,∞),这在机器学习中是一个非常重要的参数。
2.4 回顾
1 根据线性回归的直观显示,去寻找数据要表达的真正意义;
2 根据对随机实验的特性,我们找到了定义误差的方法,并且拿到了趁手的工具(高斯分布函数),凭曲线救国,去寻早能使回归模型误差最小的的回归系数。