大白话5分钟带你走进人工智能-第32节集成学习之最通俗理解XGBoost原理和过程

日期：2021-05-12 栏目：程序人生浏览：次

1、回顾：

我们先回顾下有监督学习中的一些核心概念：

1.1 有监督学习中的相关概念

我们模型关注的就是如何在给定xi的情况下获得ŷi。在线性模型里面，我们认为

$\hat{y}_{i}=\sum w_{ij} x_{i j}$

i是x的横坐标，j是x的列坐标，本质上linear/logistic regression中的yi^都等于这个，只不过在logistic regression里面，分了两步，第一步ŷi=∑j wj xij，此时ŷi含义是一个得分，第二步你把这得分再扔到Sigmoid函数里面，才会得到概率。所以预测分值的ŷi在不同的任务中会有不同的解释。对于线性回归(linear regression)来说，ŷi就是最终预测的结果。对于逻辑回归(logistic regression)来讲，把ŷi丢到Sigmoid函数里面去，是预测的概率。在其它的一些模型里面，ŷi还有其它的作用。而在线性模型里面的参数就是一组w，叫做θ。即

$\Theta=\left\{w_{j} | j=1, \cdots, d\right\}$

对于参数型模型，要优化的目标函数有两项组成，一项是Loss，一项是Regularization。表达公式即

$\operatorname{Obj}(\Theta)=L(\Theta)+\Omega(\Theta)$

常见的损失函数Loss如：平方误差损失函数(square loss),表示为：

$\left(y_{i}-\hat{y}_{i}\right)^{2}$

交叉熵损失函数(Logistic loss),表示为

$y_{i} \ln \left(1+e^{-\hat{y}_{i}}\right)+\left(1-y_{i}\right) \ln \left(1+e^{\hat{y}_{i}}\right)$

正则项Ωθ是用来衡量模型简单程度的，有L1正则，即

有L2正则即L2范数的平方，乘一个λ。即

转载注明出处：https://www.heiqu.com/wpygjp.html

大白话5分钟带你走进人工智能-第32节集成学习之最通俗理解XGBoost原理和过程

相关推荐