L1正则化为什么又叫做稀疏因子?

 

L1正则化对应的最经典模型为LASSO模型,LASSO的全称为:Least absolute shrinkage and selection operator

sklearn中对应的模型为LASSO以及带自动筛选alpha值得LASSOCV模型。

答:L2正则相当于用圆去逼近目标,而L1正则相当于用菱形去逼近目标,所以更容易引起交点在坐标轴上即得到稀疏解。

具体请看图:

 

《L1正则化为什么又叫做稀疏因子?》

两者相交则是同时满足两个条件的最优解。可以看出,L1正则化与原解的交点更可能存在于坐标轴上,也即其他轴的值此时为0。

注意是可能而不是一定。

L1和L2对应的公式如下图:

《L1正则化为什么又叫做稀疏因子?》

另外,也有人

    原文作者:Data+Science+Insight
    原文地址: https://blog.csdn.net/zhongkeyuanchongqing/article/details/115737248
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞