机器学习中的范数规则化之 L0、L1与L2范数 http://blog.csdn.net/zouxy09/article/details/24971995/L1正则化及其推导 Laplace(拉普拉斯)先验与L1正则化 (6)

机器学习中的范数规则化之 L0、L1与L2范数 http://blog.csdn.net/zouxy09/article/details/24971995/L1正则化及其推导 Laplace(拉普拉斯)先验与L1正则化

也就是说,我们将模型空间限制在w的一个L1-ball 中。为了便于可视化,我们考虑两维的情况,在(w1, w2)平面上可以画出目标函数的等高线,而约束条件则成为平面上半径为C的一个 norm ball 。等高线与 norm ball 首次相交的地方就是最优解:

机器学习中的范数规则化之 L0、L1与L2范数 http://blog.csdn.net/zouxy09/article/details/24971995/L1正则化及其推导 Laplace(拉普拉斯)先验与L1正则化

可以看到,L1-ball 与L2-ball 的不同就在于L1在和每个坐标轴相交的地方都有“角”出现,而目标函数的测地线除非位置摆得非常好,大部分时候都会在角的地方相交。注意到在角的位置就会产生稀疏性,例如图中的相交点就有w1=0,而更高维的时候(想象一下三维的L1-ball 是什么样的?)除了角点以外,还有很多边的轮廓也是既有很大的概率成为第一次相交的地方,又会产生稀疏性。

相比之下,L2-ball 就没有这样的性质,因为没有角,所以第一次相交的地方出现在具有稀疏性的位置的概率就变得非常小了。这就从直观上来解释了为什么L1-regularization 能产生稀疏性,而L2-regularization 不行的原因了。

因此,一句话总结就是:L1会趋向于产生少量的特征,而其他的特征都是0,而L2会选择更多的特征,这些特征都会接近于0。Lasso在特征选择时候非常有用,而Ridge就只是一种规则化而已。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zzwgyp.html