正交向量与子空间

关于向量正交(orthogonality vector)我们都已不陌生,正交是垂直的另一种说法,两个向量正交意味着这两个向量的夹角为90度,如果要判断两个向量是否正交,只需对向量作点乘(dot product)相加,即内积,等于0就是正交的,如《正交向量与子空间》,则x和y是正交的,如果x是零向量,y任意或者y是零向量,x任意,那么这两个向量是正交的,即零向量与任何向量都正交。

将正交从向量推广到子空间,定义子空间S和子空间T,如果S和T正交,那意味着S中的每个向量和T中的每个向量都正交,举个最常见的例子,现有黑板、地面、另一面墙是相互垂直的,那么它们是正交的吗?很显然不是,比如我取黑板上45度的向量,再取个地面上的向量,它们绝对不正交,或者可以这样考虑,取同在黑板和地面上的向量,即位于交界处的向量,自己绝对不会跟自己正交的,所以如果两个子空间在某一非零向量(注意是非零向量)处相交,那它们一定不正交。

上面的是正交,现在介绍正交补的概念,如果是正交补那么两子空间除了要正交,还需要维度满足一定条件,拿前面已经学过的4个子空间为例,我们已知道对于某个秩为r的矩阵A,其行空间是r维,零空间是n-r维,列空间是r维,左零空间是m-r维,其中行空间正交于零空间,列空间正交于左零空间,因为《正交向量与子空间》 ,所以这个等式告诉我们零空间中的x与A的所有行都正交,并且与A所有行的线性组合也是正交的,所以行空间和零空间是正交的。对于列空间和左零空间,因为《正交向量与子空间》 ,所以左零空间中的y与A的每一列都正交,并且与A所有列的线性组合也是正交的,所以列空间和左零空间是正交的。这就像将m维空间划分为两个子空间:列空间和左零空间,将n维空间划分为两个子空间:行空间和零空间。我们称这种现象为正交补(orthogonality complements),即列空间的正交补是左零空间,左零空间中包含了所有与列空间正交的向量,而不只是部分。行空间的正交补是零空间,零空间中包含了所有与行空间正交的向量,而不只是部分。下面通过一个问题来理解正交补,以三维空间《正交向量与子空间》为例,现有《正交向量与子空间》的两个子空间:两条过原点无限延伸的正交的直线,它们能构成行空间和零空间吗?不能,因为它们的维度不对,两条直线的维度都是一维,1+1不等于3,所以它们不能构成正交补,所以不能作为行空间和零空间。

接下来我们讨论一下当Ax=b无解时,该如何求出方程组的最优解,这个问题很常见,如果A是长方阵(rectangular matrix),消元法得到的结果是0等于非0,方程组就无解,我们可以不断去掉一些方程,直至矩阵可逆,然后求解方程,但很明显这不是一个好方法,因为实际应用中,我们并不知道哪些数据是好的,哪些是不好的,我们总是希望利用所有的测量值求出最优解。求解最优解的方法如下:只需在Ax=b两侧同乘《正交向量与子空间》,即方程变为《正交向量与子空间》 ,得到的解就是原方程的最优解。但注意《正交向量与子空间》A也不一定总是可逆的,比如 《正交向量与子空间》《正交向量与子空间》 ,有一个很重要的结论,rank(《正交向量与子空间》A)=rank(A)对任何矩阵都是成立的,这可以让我们快速判断对称阵《正交向量与子空间》A在什么情况下可逆:当且仅当A的零空间里只有零向量时,也就是A的各列线性无关,对称方阵ATA才是可逆的。简单证明一下这个命题:我们前面说过如果Ax=0只有零解,那么A是可逆的,所以要证明《正交向量与子空间》A是可逆的,我们需要考察《正交向量与子空间》Ax=0的解是多少,等式两边同乘《正交向量与子空间》,即《正交向量与子空间》,那么有Ax=0,又因为A的列是线性无关的,因此x=0,因此《正交向量与子空间》A是可逆的。

点赞