回归分析是一种非常广泛使用的统计工具，用于建立两个变量之间的关系模型。

这些变量之一称为预测变量（自变量x），其值通过实验收集。
另一个变量称为响应变量（因变量y），其值从预测变量派生。

一元线性回归

在线性回归中，预测变量与相应变量通过方程相关，其中这两个变量的指数（幂）为1.
数学上，线性关系表示：当绘制为图时的直线。 任何变量的指数不等于1的非线性关系将创建一条曲线。

线性回归的一般数学方程为 ：

y = ax + b

以下是所使用的参数的描述：

• y是响应变量。
• x是预测变量。
• a和b被称为系数常数。

创建关系的步骤是 ：

• 进行收集观测值的样本的实验。
• 使用R语言中的lm()函数创建关系模型。
• 从创建的模型中找到系数，并使用这些创建数学方程
• 获得关系模型的摘要以了解预测中的平均误差。 也称为残差。
• 为了预测新的结果，使用R中的predict()函数。

举个栗子：
已知人的身高预测人的体重

样本数据集如下所示：

# Values of height
151, 174, 138, 186, 128, 136, 179, 163, 152, 131

# Values of weight.
63, 81, 56, 91, 47, 57, 76, 72, 62, 48

lm( ) 函数

lm(formula,data)

• formula是表示x和y之间的关系的符号。
• data是应用公式的向量。

获取公式：

输入：

x <- c(151, 174, 138, 186, 128, 136, 179, 163, 152, 131)
y <- c(63, 81, 56, 91, 47, 57, 76, 72, 62, 48)
# Apply the lm() function.
relation <- lm(y~x)

print(relation)

输出：

Call:
lm(formula = y ~ x)

Coefficients:
(Intercept)            x  
   -38.4551       0.6746

即 y = 0.6746x + （-38.4551）

获取总结：
输入：

x <- c(151, 174, 138, 186, 128, 136, 179, 163, 152, 131)
y <- c(63, 81, 56, 91, 47, 57, 76, 72, 62, 48)
# Apply the lm() function.
relation <- lm(y~x)

print(summary(relation))

输出：

Call:
lm(formula = y ~ x)

Residuals:
    Min      1Q  Median      3Q     Max 
-6.3002 -1.6629  0.0412  1.8944  3.9775 

Coefficients:
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) -38.45509    8.04901  -4.778  0.00139 ** 
x             0.67461    0.05191  12.997 1.16e-06 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 3.253 on 8 degrees of freedom
Multiple R-squared:  0.9548,	Adjusted R-squared:  0.9491 
F-statistic: 168.9 on 1 and 8 DF,  p-value: 1.164e-06

详解summary

Residuals:残差统计量。
在理想情况下服从正态分布，普通最小二乘法在数学上保证产生均值为0的残差。

• 在此例中，中位数的符号为正（0.0412），表明向右偏移，中位数的大小表明偏斜的程度。
• 第一个四分位数（1Q）和第三个四分位数（3Q）为钟形分布的幅度。在这种情况下，3Q有较大的幅度（1.8944）表明向右倾斜。
• 最大和最小残差用来检验数据中产生较大残差的离群值。

Coefficients:系数。
如果一个变量的系数为0，那么这个变量是没有意义的，它对模型毫无贡献。
这里的系数只是估计，不会真正为0，那么从统计的角度而言，真正的系数为0的可能性是多大？这就依赖于t统计量（t value）和p值（Pr(>|t|)）。

• (Intercept)的Estimate —- 公式中的b
• x的Estimate —-公式中的a，也就是系数
• p-value:P值。概率p值估计了系数不显著的可能性，越小越好。如果p值很大，说明不显著的可能性很高。一般情况下如果p值远小于于显著水平α=0.05（可更换显著性水平的值）
• Std.Error是回归系数的标准误差
• Residual standard error：残差标准误差，即ε的样本标准误差
• Multiple R-squared:R²（判定系数）是衡量模型拟合质量的指标，判断模型是否有用，值越大越好。在本例中，模型解释y的方差为95.48%，剩余的是不能解释的
• Adjusted R-squared：调整R²。考虑了模型变量的数目，能实际地评估模型的有效性，在多元回归情况下，使用调整R²
• F-statistic:F统计量告诉模型是否显著，如果有任何回归系数为非零，该模型是显著的；如果所有系数均为0，该模型是不显著的。

predict()函数：

predict(object, newdata)

• object是已使用lm()函数创建的公式。
• newdata是包含预测变量的新值的向量。

预测一个170身高人的体重：

输入：

# The predictor vector.
x <- c(151, 174, 138, 186, 128, 136, 179, 163, 152, 131)
# The resposne vector.
y <- c(63, 81, 56, 91, 47, 57, 76, 72, 62, 48)
# Apply the lm() function.
relation <- lm(y~x)


# Find weight of a person with height 170.
a <- data.frame(x = 170)
result <-  predict(relation,a)
print(result)

输出：

       1 
76.22869 

以图形的方式展示：

输入：

# Create the predictor and response variable.
x <- c(151, 174, 138, 186, 128, 136, 179, 163, 152, 131)
y <- c(63, 81, 56, 91, 47, 57, 76, 72, 62, 48)
relation <- lm(y~x)

# Give the chart file a name.
png(file = "linearregression.png")
# Plot the chart.
plot(y,x,col = "blue",main = "Height & Weight Regression",
abline(lm(x~y)),cex = 1.3,pch = 16,xlab = "Weight in Kg",ylab = "Height in cm")
# Save the file.
dev.off()

输出：

多元线性回归

多元回归是线性回归到两个以上变量之间的关系的延伸。 在简单线性关系中，我们有一个预测变量和一个响应变量，但在多元回归中，我们有多个预测变量和一个响应变量。
多元回归的一般数学方程为 ：

y = a + b1x1 + b2x2 +…bnxn

以下是所使用的参数的描述 ：

• y是响应变量。
• a，b1，b2 … bn是系数。
• x1，x2，… xn是预测变量。

lm()函数

在多元回归中的基本语法是：

lm(y ~ x1+x2+x3…,data)

以下是所使用的参数的描述：

• 公式是表示响应变量和预测变量之间的关系的符号。
• 数据是应用公式的向量。

举个栗子：
考虑在R语言环境中可用的数据集“mtcars”。 它给出了每加仑里程（mpg），气缸排量（“disp”），马力（“hp”），汽车重量（“wt”）和一些其他参数的不同汽车模型之间的比较。
模型的目标是建立“mpg”作为响应变量与“disp”，“hp”和“wt”作为预测变量之间的关系。

输入：

input <- mtcars[,c("mpg","disp","hp","wt")]
print(head(input))

输出：

                   mpg disp  hp    wt
Mazda RX4         21.0  160 110 2.620
Mazda RX4 Wag     21.0  160 110 2.875
Datsun 710        22.8  108  93 2.320
Hornet 4 Drive    21.4  258 110 3.215
Hornet Sportabout 18.7  360 175 3.440
Valiant           18.1  225 105 3.460

创建关系模型并获取系数：

输入：

input <- mtcars[,c("mpg","disp","hp","wt")]

# Create the relationship model.
model <- lm(mpg~disp+hp+wt, data = input)

# Show the model.
print(model)

# Get the Intercept and coefficients as vector elements.
cat("# # # # The Coefficient Values # # # ","
")

#使用coef（）读取构建模型model的系数
a <- coef(model)[1]
Xdisp <- coef(model)[2]
Xhp <- coef(model)[3]
Xwt <- coef(model)[4]
print(a)
print(Xdisp)
print(Xhp)
print(Xwt)

输出：

(Intercept) 
   37.10551
       disp 
-0.0009370091
       hp 
-0.03115655
       wt 
-3.800891

使用summary（）：

输入：

print (summary(model))

输出：

Call:
lm(formula = mpg ~ disp + hp + wt, data = input)

Residuals:
   Min     1Q Median     3Q    Max 
-3.891 -1.640 -0.172  1.061  5.861 

Coefficients:
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) 37.105505   2.110815  17.579  < 2e-16 ***
disp        -0.000937   0.010350  -0.091  0.92851    
hp          -0.031157   0.011436  -2.724  0.01097 *  
wt          -3.800891   1.066191  -3.565  0.00133 ** 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 2.639 on 28 degrees of freedom
Multiple R-squared:  0.8268,	Adjusted R-squared:  0.8083 
F-statistic: 44.57 on 3 and 28 DF,  p-value: 8.65e-11

根据一元线性回归中对于summary的详解，发现P值<0.05，符合我们的期望。
基于上述截距和系数值，我们创建了数学方程。

Y = a+Xdisp.x1+Xhp.x2+Xwt.x3
or
Y = 37.105+(-0.000937)*x1+(-0.0311)*x2+(-3.8008)*x3

当提供一组新的位移，马力和重量值时，我们可以使用上面创建的回归方程来预测里程数。
对于disp = 221，hp = 102和wt = 2.91的汽车，预测里程为 ：

Y = 37.15+(-0.000937)*221+(-0.0311)*102+(-3.8008)*2.91 = 22.7104