(1)一个对角元素都是1的下三角矩阵,称为单位下三角矩阵。
(2)上(下)三角矩阵的乘积仍是上(下)三角矩阵;
(3)一般来说,矩阵的三角分解不唯一。
(4)实对称正定矩阵 A , Δk>0 ( k=1,2,⋯,n )
三角分解
如果方阵 A 可分解为一个下三角矩阵 L 和一个上三角矩阵 U 的乘积,则称 A 可作三角分解或 LU(LR) 分解。如果 A 可分解成 A=LDU ,其中 L 是单位下三角矩阵, D 是对角矩阵, U 是单位上三角矩阵,则称 A 可做 LDU 分解。
设 A=(aij) 是 n 阶矩阵,则当且仅当 A 的顺序主子式 Δk≠0 ( k=1,2,⋯,n−1 ,为什么要求到 n−1 ,因为 ΔkΔk−1 )时, A 可唯一地分解为 LDU ,其中 L 为单位下三角矩阵, U 为单位上三角矩阵, D 是对角矩阵,
D=diag(d1,d2,⋯,dn)
其中,
dk=ΔkΔk−1 (
k=1,2,⋯,n;Δ0=1 )
Cholesky 分解(平方根分解)
当 A 为实对称正定矩阵(样本的协方差矩阵)时, Δk>0 ( k=1,2,⋯,n ),有唯一的 LDU 分解,即:
A=LDU
其中 D=diag(d1,d2,⋯,dn) ,且 di>0 ( i=1,2,⋯,n ),令:
D~=diag(d1−−√,d2−−√,⋯,dn−−√)
于是有:
A=LD~2U
由
AT=A ,得:
LD~2U=UTD~2LT
再由分解的唯一性得:
L=UT,U=LT
因而有:
A=LD~2LT=LDLT
或者:
A=LD~2LT=(LD~)(LD~)T=GGT
Cholesky 分解在计算马氏距离时的作用
Σ 协方差矩阵首先是实对称半正定的,如果其全部对角线元素为正的,则 Σ 就为实对称正定矩阵,可进行 Cholesky 未解( L 为下三角矩阵):
Σ=LLT
我们在计算样本
X 中的两特征向量的距离时,如果使用马氏距离的计算公式:
D(x,y)=(x−y)TΣ−1(x−y)−−−−−−−−−−−−−−−√
直接对
Σ 求逆计算复杂度极高,我们将Cholesky 分解后的
LLT ,代入计算式:
D(x,y)=[L−1(x−y)]T[L−1(x−y))]−−−−−−−−−−−−−−−−−−−−−−−√