线性代数 -- 正交向量与子空间

什么是向量的正交?

正交是垂直的另外一种说法, 两个向量正交就是说两个向量垂直

怎么判断两个向量是否正交(条件)?

可以通过做一个点乘来判断, XTy=0, 如果这个式子成立, 那么就说明x, y两个向量正交, 那么这个方法可以推广到n维吗? 可以

为什么这个方法可以判断呢?

如果三角形是直角三角形时, 有|x|2 + |y|2 = |(x+y)|2, 也就是xTx+yTy=(x+y)T(x+y), 由于XTy与yTx结果是一样的, 所以最后可以得到:2XTy=0, 所以就证明了上面的结论

零向量与任何向量正交

子空间的正交

子空间S与子空间T正交是什么意思?

两个空间正交首先满足不是和零空间正交。

这个意味着S中的每个向量都和T中的每个向量正交。

行空间正交与零空间, 为什么?

零空间是Ax=0的解, 通过这个矩阵, 我们已经知道了零空间与矩阵的各行正交。但是行空间并不是由矩阵的各行组成的, 还包括矩阵的行的线性组合。 接下来的目标就是证明各行的线性组合还是与零空间垂直, c1*row1*x + c2*row2*x + …… = 0 -》(c1*row1 + c2*row2 + ……)*x = 0, 显然成立。所以行空间正交与零空间, 这两个子空间的维数等于这个空间的维数, 这种情况称为n维空间里面的正交补

行空间与零空间为正交补, 那么零空间中包含所有所有(不是部分)垂直于行空间的向量

如何求一个无解方程的解

这个问题看起来不可思议, 但是其实是很常见的。 当Ax=b无解时, 怎么求解。这里指的是b不在A的列空间里面时, 如果A是长方矩阵, 这个问题就是很常见。 长方矩阵就是m>n的矩阵, 这种矩阵可以肯定秩r不是m。

这里有个例子, 当你为体检者检测脉搏, 脉搏频率是一个未知数, 为了确定脉搏频率, 你只要测量一次就可以了, 但是如果你要得到更为准确的数据, 你就要测量多次, 但是可能会存在一个误差很大的“坏数据”, 当方程很多时, 右侧难免会混入“坏数据”, 这样方程组就解不出来LED, 因为我们甚至不知道b中的哪个数据是“坏数据”, 我们要做的就是把“坏数据”筛选出来, 这就是线性代数要解决的问题, 求出这个“最优解”。

那我们得到一些方程, 如何求出它们的最优解呢?

一个方法是不断去掉一些方程, 知道剩下一个可逆的方阵, 然后求出它的解, 但是这个方法并不好。 那我们遇到这种情况该怎么解决呢? 答案是利用一个重要的方法:ATA。

当求解一个Ax=b方程组时, 可以先通过消元法判断方程组是不是有解, 当方程组无解时, 利用上面那个重要方法, 在方程两边同时乘以AT:AT*Ax=b*AT, 得到这样一个方程。 如果AT*A是可逆的话, 那么AT*A的结果一定是一个方阵。 那么什么时候AT*A可逆呢?当且仅当零空间里面只有零向量, 即A得到各列线性无关时, 才可逆。 此时AT*A的秩与A的秩是一样的, 解AT*Ax=b*AT这个方程组, 得到x的值,这个解并不是原方程Ax=b的解, 因为原方程是无解的, 所以这个解只能算是原方程解的最优解

总结:

整篇文章主要讨论了向量正交, 子空间正交和怎么求解一个无解方程组

  1. 向量正交部分包括:怎么判断两个向量是否正交, 以及为什么可以这么判断。
  2. 子空间正交: 首先说明了不是和零空间正交, 子空间正交的含义是S空间中的每一个向量都和T空间中的向量正交。 一个重要的结论行空间与零空间正交
  3. 求解一个无解方程组是找出它的最优解:Ax=b方程解法是在方程两边同时乘以AT:AT*Ax=b*AT, 然后求解这个x, 这个x就是原方程的最优解。 记住两个重要的结论:A的秩与ATA是一致的当且仅当零空间里面只有零向量, 即A得到各列线性无关时, 才可逆。关于这个问题以后还会继续讨论。
点赞