PCA主成分分析/协方差矩阵

更新中…

参考博文:

1,如何理解主元分析(PCA)
2,协方差-正定矩阵
第1篇博文对PCA做了很详细的说明,本文主要是对以上博文做些补充
博文1提到了协方差矩阵,在此补充一下协方差矩阵的特点。
协方差矩阵又称二阶混合中心矩
《PCA主成分分析/协方差矩阵》
协方差公式: C o v ( X , Y ) = E ( X − E X ) ( Y − E Y ) ( 1 ) Cov(X,Y)=E(X-EX)(Y-EY) (1) Cov(X,Y)=E(XEX)(YEY)1 o r or or C o v ( X , Y ) = E ( X Y ) − ( E X ) ( E Y ) ( 2 ) Cov(X,Y)=E(XY)-(EX)(EY)(2) Cov(X,Y)=E(XY)(EX)(EY)2
上面两式子是等价的。以高斯分布为例,假如X,Y都服从高斯分布,则可以得到协方差矩阵为:
《PCA主成分分析/协方差矩阵》
其中 ρ \rho ρ表示变量X,Y的相关系数,满足| ρ \rho ρ| ≤ 1 \leq1 1(可为负数,表示负相关)。如果X,Y独立,则 ρ = 0 \rho=0 ρ=0.
协方差矩阵对角线表示变量X,Y自身的方差,而非对角线是变量之间的协方差,包含相关系数,从而可以认为是变量之间相关性程度的一种表现形式。
协方差矩阵的意义:1表示随机变量之间的相关性,2,由公式(1)可知,它还与变量关于自身的期望有关,即(X-EX)和(Y-EY)。当两者其中一个为零时,无论X,Y有多么密切的关系,协方差都为零
由于协方差矩阵是对称矩阵(通常不考虑虚数情况,因此也称为实对称矩阵),则一定可以通过特征值分解,分解为:
A = U Λ U T A=U\Lambda U^T A=UΛUT
其中U是正交矩阵(不同行/列之间点积为零,每行各元素平方和=1), Λ \Lambda Λ是对角矩阵。可以证明协方差矩阵是实对称矩阵,从而也是半正定矩阵,即所有的特征值大于或等于0。

等待更新…

    原文作者:Mr-Cat伍可猫
    原文地址: https://blog.csdn.net/Mr_Cat123/article/details/90695907
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞