logistic回归分析优点_逻辑回归算法的优缺点

《logistic回归分析优点_逻辑回归算法的优缺点》

导读

逻辑回归算法是最经典的几个机器学习算法之一,本文对它的优点,缺点进行总结。

1. 逻辑回归算法

逻辑回归属于判别式模型,同时伴有很多模型正则化的方法(L0, L1,L2,etc),而且你不必像在用朴素贝叶斯那样担心你的特征是否相关。与决策树、SVM相比,你还会得到一个不错的概率解释,你甚至可以轻松地利用新数据来更新模型(使用在线梯度下降算法-online gradient descent)。如果你需要一个概率架构(比如,简单地调节分类阈值,指明不确定性,或者是要获得置信区间),或者你希望以后将更多的训练数据快速整合到模型中去,那么使用它吧。

Sigmoid函数:表达式如下:

《logistic回归分析优点_逻辑回归算法的优缺点》

2. 优点

1. 实现简单,广泛的应用于工业问题上;

2. 分类时计算量非常小,速度很快,存储资源低;

3. 便利的观测样本概率分数;

4. 对逻辑回归而言,多重共线性并不是问题,它可以结合L2正则化来解决该问题;

5. 计算代价不高,易于理解和实现。

3. 缺点

1. 当特征空间很大时,逻辑回归的性能不是很好;

2. 容易欠拟合,一般准确度不太高;

3. 不能很好地处理大量多类特征或变量;

4. 只能处理两分类问题(在此基础上衍生出来的softmax可以用于多分类),且必须线性可分;

5. 对于非线性特征,需要进行转换。

4. logistic回归应用领域:

1. 用于二分类领域,可以得出概率值,适用于根据分类概率排名的领域,如搜索排名等;

2. Logistic回归的扩展softmax可以应用于多分类领域,如手写字识别等;

3. 信用评估;

4. 测量市场营销的成功度;

5. 预测某个产品的收益;

6. 特定的某天是否会发生地震。

5. logistic算法与其它算法比较

线性回归做分类因为考虑了所有样本点到分类决策面的距离,所以在两类数据分布不均匀的时候将导致误差非常大;LR和SVM克服了这个缺点,其中LR将所有数据采用sigmod函数进行了非线性映射,使得远离分类决策面的数据作用减弱;SVM直接去掉了远离分类决策面的数据,只考虑支持向量的影响。

但是对于这两种算法来说,在线性分类情况下,如果异常点较多无法剔除的话,LR中每个样本都是有贡献的,最大似然后会自动压制异常的贡献;SVM+软间隔对异常比较敏感,因为其训练只需要支持向量,有效样本本来就不高,一旦被干扰,预测结果难以预料。

    原文作者:weixin_39572316
    原文地址: https://blog.csdn.net/weixin_39572316/article/details/109982523
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞