矩阵运算的代数和几何意义

发表于 更新于 分类于 Waline：

这周完成了把线性代数的知识点粗略地过一遍，有的知识点记住了，有的没记住，有的即使记住了，感觉也是死记硬背，没有融入到自己的知识体系中，思索再三，我认为根本原因是，我不知道这些公式有什么用，他们有什么具体的，或者形象化的意义，所以就打算整体上再梳理一遍这些概念或者公式的实际意义，很多基础的名词和定义就不在这里总结了。

总的来说，矩阵和向量，在代数意义上讲，表现的是方程组解的问题，而从几何意义上讲，是坐标变换的问题。

但是其实，我们从一个n维坐标空间到另一个n维坐标空间进行的运算，还是方程组。所以说，矩阵，方程组和坐标变换具有很强的共性。

代数意义

我们慢慢梳理行列式，向量，矩阵，方程组以及坐标空间的关系：

首先，并不是每个矩阵都有自己对应的行列式，只有方阵才有行列式。

一个n阶行列式对应的矩阵，是一个由n个方程，n个未知量组成的方程组的系数矩阵。

行列式的值的关键意义在于，它是否等于0，这关系着方程组是否有解，是否有唯一解。

首先，什么时候行列式值会等于0呢？一种情况是，至少有一行为0，对应的方程组表现出来就是，那一行的n个未知量的系数都等于0，另一种情况是，有两行对应成比例，方程组表现出来就是，有两行的系数对应成比例。

如果是齐次线性方程组，也就是方程组中所有方程的等号右边都是0。这两种情况，就相当于有n个未知量，但是有效方程个数小于n，那么我们势必就无法求出方程的唯一解，这个就是克拉默法则，当|A| = 0时，齐次线性方程组有非零解。

如果是非齐次线性方程组，第一种情况，如果系数都为0的那一个方程右边不等于0，那么很明显，方程组无解，如果等于0，就相当于这不是一个有效方程；而第二种情况，如果两个系数对应成比例的方程右边的值不成比例，那就无解，如果成比例，也相当于两个方程其实是一个，也就是有一个无效方程。

而这个有效方程的个数，其实就是系数矩阵的秩，也就是行列式的秩。所以说矩阵的秩小于n的系数矩阵对应的方程组，没有唯一解，其实就是有效方程个数不够，求不出唯一解。

我们求取一个矩阵秩的过程，是做初等行变换，化成阶梯型，这个过程对于方程组来说，就是不断化简，变成同解方程组的过程，注意，只有初等行变换才是同解方程组，不能做列变换。

虽然只有初等行变换才是同解方程组，但是所有的初等变换都不改变矩阵的秩。

同时如果行列式的秩为n，我们转化为阶梯型就是一个上三角行列式（如果你继续做列变化，可以变成对角矩阵），如果每一行都是一个向量，那么这个向量组是线性无关的，所以说线性无关向量组组成的系数矩阵对应的方程组有唯一解，如果线性相关，那就说明，有效方程个数小于n。

几何意义

上面说的方程组，其实说起来就是一个空间坐标转化的过程（也就是向量x投影到A矩阵对应的坐标空间的过程），也就是方程组等式坐边的系数矩阵按列分块得到的n个n维向量线性表出方程组右边值组成的n维向量的过程，系数矩阵的n个列向量就相当于n个坐标轴，如果秩等于n，那就说明，这n个坐标轴线性无关，方程组就只有一个解，也就是只有一种表出方法。

一个向量左乘一个矩阵，可以有两种几何意义，一种是将向量投影到一个新的坐标系(这个投影矩阵其实也是新坐标系的坐标轴在原坐标系下的表示)中，也就是不改变向量，而是用另一个坐标系来表示该向量，一种是表示缩放旋转、

前者左乘的矩阵必须是一个可逆矩阵，因为你能从A坐标系变换到B坐标系，就需要变回来，这个变回来的过程就是左乘逆矩阵，这也是为什么可逆矩阵的行列式值不能为0的一个原因，如果为零，说明丢了一个维度，那么就回不来了。

特征值和特征向量

这一段可以直接看http://haoeric.github.io/matrix-eigenvectors/

这篇博客详细的介绍了什么叫特征值和特征向量。

我这里就只摘抄对我最有用的一段：

如果一个n×n方阵A与一个非零向量x点乘满足如下条件：

Ax = λx
那么向量x为矩阵A的一个特征向量，λ（非零）即特征向量x对应的特征值。

等式左边我们可以看成是将非零向量x投影到以方阵A每一行为基的坐标系中，等式右边可以看成是对向量x进行伸缩变换，伸缩的比例为λ。所以，如果一个向量投影到一个方阵定义的空间中只发生伸缩变化，而不发生旋转变化，那么该向量就是这个方阵的一个特征向量，伸缩的比例就是特征值。

矩阵的相似

设A，B都是n阶矩阵，若存在可逆矩阵P，使得

P−1AP=BP^{-1}AP = B

则称B是A的相似矩阵
若A与对角阵相似，则称A可以相似对角化，该对角阵称为A的相似标准型。

两个矩阵相似，则两个矩阵的特征值和特征多项式都相等。

n阶方阵可相似对角化的充分必要条件是，有n个线性无关的特征向量

线性无关与正交并不同，正交一定线性无关，但是反过来不一定。如果把线性相关理解为平行的两个向量，那么线性相关则是相交，而正交是垂直相交。

实对称矩阵一定可以相似对角化，且过度矩阵是个正交矩阵，实对称矩阵的不同特征值的特征向量不仅仅是线性无关，而且正交。

矩阵相似的几何意义：假设空间中有一个向量v，我们可以将其的旋转和缩放表现为左乘一个矩阵，这同一个变换在不同坐标系下表示出来的矩阵就是相似的。

  • 首先将v从B对应的坐标系下转换到A对应的坐标系下，就是Pv
  • 然后在A坐标系下，做旋转缩放等操作，那就是APv
  • 然后把操作后的向量重新放回B对应的坐标系下，就是 P^{-1}APv，这一套操作下来的结果相当于直接在B的坐标系下直接进行旋转缩放，也就是 Bv = P^{-1}AP

那么可以相似对角化的意义则是，在B坐标系下，我们可以表示为拆解为每个坐标轴独自的缩放，这一点和特征值和特征向量的定义又暗合（如果一个向量投影到一个方阵定义的空间中只发生伸缩变化，而不发生旋转变化，那么该向量就是这个方阵的一个特征向量，伸缩的比例就是特征值）。

这里有个猜想，是不是说A对应的坐标空间的特征空间就是B对应的坐标空间？

在理解特征值的时候，左乘矩阵的几何意义是投影变换，将向量投影到矩阵表示的向量空间中，而在理解相似的过程中，左乘P矩阵的几何意义是投影变换，左乘A矩阵的几何意义是进行旋转缩放。

矩阵的合同

这个也可以参考这篇博客：https://www.cnblogs.com/yanghh/p/13492614.html

我也只摘抄对我最有用的一段：

在不同的参考系下得到的多项式或二次型矩阵不同，但我们得知道它们是不是同一个图形，于是有合同的概念。

两个合同的矩阵是：同一个图形在不同基下的表示。

需要注意的是，考虑矩阵合同需要时二次型的前提下，也就是是实对称矩阵。

矩阵的相似表示的是同一个向量的变换在不同坐标空间下的表示，矩阵的合同表示的是同一个图形在不同坐标空间下的表示。

从代数角度讲，合同是针对实对称矩阵讲的，而实对称矩阵一定是相似于对角阵的，且过度矩阵是个正交阵，也就是说实对称矩阵一定是既相似又合同与对角阵。其实把求实对称矩阵合同的对角阵的过程，就是将二次型配方成标准型的过程，比如

f(x1,x2,x3)=2x12+3x22+5x32+4x1x2−8x2x3−4x3x1f(x_1, x_2, x_3) = 2x_1^2 + 3x_2^2 + 5x_3^2 + 4x_1x_2 - 8x_2x_3 - 4x_3x_1

这是一个二次型，系数矩阵是个实对称矩阵，我们可以把它配成完全平方

f=2(x1+x2−x3)2+(x2−2x3)2−x32f = 2(x_1 + x_2 - x_3)^2 + (x_2 - 2x_3)^2 - x_3^2

那么引入新变量

{y1=x1+x2−x3y2=x2−2x3y3=x3即{x1=y1−y2−y3x2=y2+2y3x3=y3\begin{cases} y_1 = x_ 1 + x_2 - x_3 \\ y_2 = x_2 - 2x_3 \\ y_3 = x_3 \end{cases} 即 \begin{cases} x_1 = y_ 1 - y_2 - y_3 \\ x_2 = y_2 + 2y_3 \\ x_3 = y_3 \end{cases}

则f的标准型为

f=2y12+y22−y32f = 2y_1^2 + y_2^2 - y_3^2

过度矩阵就是

[1−1−1012001]\begin{bmatrix} 1 & -1 & -1 \\ 0 & 1 & 2 \\ 0 & 0 & 1 \end{bmatrix}

参考链接：
http://haoeric.github.io/matrix-eigenvectors/
https://www.cnblogs.com/yanghh/p/13492614.html