2.1 线性回归算法学习——简单线性回归算法的原理及推导过程

机器学习中的参数模型(线性回归、逻辑回归、SVM、神经网络等)学习过程:

通过建模找到一个最大程度拟合数据的模型,通过确定损失函数(或效用函数,统称为目标函数,最优化目标函数来获得机器学习模型的参数。

回归分析:

利用已知的数据,(线性回归中需要找到一条直线)最大程度的拟合样本与输出标记,即产生拟合方程,从而对未知的数据进行预测。

如何判断是否选用线性模型处理问题?

使用相关系数r衡量特征与标记之间的相关性强弱,判断是否适合用直线进行拟合,r为0到1的值,越接近1,相关性越强

《2.1 线性回归算法学习——简单线性回归算法的原理及推导过程》

如果x与y有较强的相关的模型,则有y=ax+b

寻找合适的参数a,b,使得误差即损失最小

效果最好如何评估?

误差最小——>所有y到直线的距离最小,距离需要开方,开方不是处处可导——>转换为y与y(预测值)的差最小,但有可能正负抵消——>加绝对值,绝对值求导也不好求——>距离差的平方,即残差平方和(误差平方和)

《2.1 线性回归算法学习——简单线性回归算法的原理及推导过程》

通过最小二乘法求解最小值

求解过程:

求解b

《2.1 线性回归算法学习——简单线性回归算法的原理及推导过程》

求解a

《2.1 线性回归算法学习——简单线性回归算法的原理及推导过程》

再优化

《2.1 线性回归算法学习——简单线性回归算法的原理及推导过程》

《2.1 线性回归算法学习——简单线性回归算法的原理及推导过程》

    原文作者:海棠依旧xx
    原文地址: https://blog.csdn.net/qq_34734683/article/details/79525043
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞