逻辑回归(LR)和支持向量机(SVM)的区别和联系

在机器学习的分类问题领域中,有两个平分秋色的算法,就是逻辑回归支持向量机,这两个算法个有千秋,在不同的问题中有不同的表现效果,下面我们就对它们的区别和联系做一个简单的总结。

2. LR和SVM的联系

都是监督的分类算法。

都是线性分类方法 (不考虑核函数时)。

都是判别模型

3. LR和SVM的不同

损失函数的不同,LR是对数损失函数,SVM是hinge损失函数

SVM不能产生概率,LR可以产生概率。

SVM自带结构风险最小化,LR则是经验风险最小化

SVM会用核函数而LR一般不用核函数

LR和SVM在实际应用的区别:根据经验来看,对于小规模数据集,SVM的效果要好于LR,但是大数据中,SVM的计算复杂度受到限制,而LR因为训练简单,可以在线训练,所以经常会被大量采用。

4. 概念解释

判别模型:是直接生成一个表示或者的判别函数(或预测模型),SVM和LR,KNN,决策树都是判别模型。

生成模型:是先计算联合概率分布然后通过贝叶斯公式转化为条件概率,朴素贝叶斯,隐马尔可夫模型是生成模型。

经验风险:对所有训练样本都求一次损失函数,再累加求平均。即,模型\(f(x)\)对训练样本中所有样本的预测能力。

期望风险:对所有样本(包含未知样本和已知的训练样本)的预测能力,是全局概念。(经验风险则是局部概念,仅仅表示决策函数对训练数据集里的样本的预测能力。)

结构风险:对经验风险和期望风险的折中,在经验风险函数后面加一个正则化项(惩罚项),是一个大于0的系数\(\lambda\)\(J(f)\)表示的是模型的复杂度。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zzdzgj.html