本文主要是一些关于矩阵的相对初等的内容，是考研期间做的完整考研线性代数归纳总结，目的是方便查阅。现在来看，这篇文章的主要任务是收纳若干关于矩阵的初级线性代数知识与技巧，对于线性空间、线性变换等内容，暂不涉及。在作者看来，这一部分的知识里理论的成分居多，读者如有需求，还是直接参考专业的线性代数或高等代数教材为好。

作者本科专业是数学与应用数学，后在学院内转去了统计学 (数理方向)，有一定的数学基础，所以最基本的概念等本文就不再赘述了😊例如矩阵转置及其性质、矩阵逆的定义等等。

本文集作者所学同时参考了大量的文献和网络资料，在整理和归纳时难免有所纰漏，如果发现有错误的内容可以邮件联系我以订正。

本文中凡是没有特别指明的，都限制在实数域上讨论。如果需要在线做一些矩阵运算，个人推荐 WolframApha；如果需要做一系列复杂矩阵运算，个人推荐 Mathematica。

矩阵

(数字) 矩阵只是一个数表，作者看来没有所谓本质：他只是一张表，我们要往里面装什么东西，比如实数、复数、矩阵甚至随机变量，或是定义某种“奇形怪状”的新运算，都是可行的——“矩阵是什么”这个问题，取决于“我们希望用矩阵做什么”；如果一定要问出个“本质”来，那可能是线性变换吧；尽管矩阵也可以代表一个线性方程组（的系数），(数字) 矩阵的某些性质从该角度看更为直观。如果把矩阵看成向量组，那么一些向量组问题的答案瞬间便水落石出。矩阵还有许多其他作用，在不同的场景下有不同的任务，这里就不一一列举了。

众所周知，左乘初等矩阵等于做相应的行变换，右乘初等矩阵等于做相应的列变换，那么什么时候只能做行变换，什么时候只能做列变换呢？

一般而言：

• 当把矩阵视为列向量的排列后，如果要直接确定线性相关的列向量之间的数量关系（例如已知某向量可以同时被两组向量线性表出，求该向量的值），则只能做初等列变换，因为只有列变换才是列向量间而不是其分量间的线性组合，保持了列向量的代数结构（但是可能会改变线性相关式$\sum k_i\alpha_i=0$的系数$\{k_i\}$）；
• 当把矩阵视为列向量的排列后，如果要确定列向量的极大线性无关组（也可以是判断线性相关性），则只能做初等行变换，因为就线性相关性而言，矩阵的行秩等于列秩，但如果做初等列变换就会改变列向量的位置，从而无法确定本来的列向量组中到底谁和谁线性相关；
• 当把矩阵视为线性方程的系数表时，如果要通过高斯消元法解方程，则只能做初等行变换，因为线性方程整体相加减不改变解的值，但如果做列变换则相当于把一个未知数的系数加到了另一个未知数上，破坏了线性方程的结构；

到底该行变换还是列变换，只是取决于目的是什么。例如第一个例子“已知某向量可以同时被两组向量线性表出，求该向量的值”，既可以将两个向量组视为列向量的排列而做初等列变换，也可以等价地认为两组向量依次列成的矩阵$A$与那个可以被同时表出的向量$b$构成的方程组$Ax=b$有解，从而利用高斯消元法对$A$做初等行变换。

矩阵等价

• 矩阵等价：如果矩阵$A$可以经有限次初等变换得到$B$，则$A\cong B$（矩阵等价）

  上述条件等价于存在一系列初等矩阵$P_1,P_2,\cdots,P_n,Q_1,Q_2,\cdots,Q_m$，使得$A=P_1P_2\cdots P_nBQ_1Q_2\cdots Q_m$

  注：矩阵乘法按“左行右列”规则计算，表现为做乘时是用左边的行向量点乘右边的列向量得到新矩阵的一个元素，也表现为左乘初等矩阵则对原矩阵做相应行变换、右乘初等矩阵则对原矩阵做相应列变换

• 同型矩阵等价的充要条件是秩相等（判断方法，矩阵等价的充要条件）

  联系到定义：初等矩阵总是满秩而可逆的

• 若矩阵可逆则一定与$E$等价，从特征值角度看是特征值均非零，因此行列式不为$0$，故矩阵可逆；从初等矩阵角度看，他可以被视作为有限个代表初等行列变换的初等矩阵的复合（矩阵乘法），即可以由$E$经过有限次初等变换得到；也可以说该矩阵的对角矩阵一定为$E$

• 如果实矩阵$A$与$B$等价，那么$A^2$与$B^2$不一定等价，除非$A,B$中有一个矩阵为可逆矩阵

  如果实矩阵$A$与$B$等价，那么$AB$与$AB$也不一定等价，除非$A,B$中有一个矩阵为可逆矩阵

  如果实对称阵$A$与$B$合同，那么$A^2$与$B^2$合同

  如果实对称阵$A$与$B$相似，那么$A^2$与$B^2$相似

  之所以对两个等价的矩阵$A,B$不一定有$A^2$与$B^2$等价，是因为尽管$A^2$与$B^2$的特征值相等，但二者的秩却不一定相等。进一步讲，更本质的原因是二者零特征值的几何重数不一定相等。也就是说，即使$A,B$相似，从而$A,B$的零特征值有相同的代数重数与几何重数，则只能得出$A^2$与$B^2$的零特征值有相同的代数重数，但其几何重数可能是不相等的。对于命题“$AB$与$AB$也不一定等价”，原因同理；

  最经典的例子是：

  $$\left\{\begin{aligned}&A=\left(\begin{matrix}1&1&\cdots&1\\0&0&\cdots&0\\\vdots&\vdots&&\vdots\\0&0&\cdots&0\end{matrix}\right)_{n\times n}&&B=\left(\begin{matrix}1&1&\cdots&1\\-1&-1&\cdots&-1\\\vdots&\vdots&&\vdots\\0&0&\cdots&0\end{matrix}\right)_{n\times n}\\&A^2=A&&B^2=O\\&BA=A&&AB=O\end{aligned}\right.$$

  其中

  $$r(A)=r(B)=1$$$$r(A^2)=1,\ \ \ \ r(B^2)=0$$$$r(BA)=1,\ \ \ \ r(AB)=0$$

  这个例子十分经典，务必了解

矩阵合同

• 矩阵合同：合同一定等价

• 矩阵合同：若存在可逆阵$C$，使得$C^TAC=B$，则$A\simeq B$（矩阵合同）

  其中$C^TAC$称为$A$的合同变换，实对称矩阵经合同变换还是实对称矩阵

  合同变换不要求$A,B$都是对称阵，但对称阵经合同变换只能是对称阵，非对称阵经合同变换只能是非对称阵

• 对称矩阵合同：对称矩阵若相似则一定合同

• 对称矩阵合同的充要条件：正负惯性指数相等；规范型相同

• 实对称矩阵$A$与他的逆$A^{-1}$合同，即二者具有相同的规范型，这是因为$A=AA^{-1}A=A^TA^{-1}A$

• 合同变换不改变正负惯性指数

• 等价关系：矩阵等价、相似与合同都是广义上的

• 等价关系（所以也有人认为矩阵等价应该译作相抵，以免与逻辑关系上的等价冲突），均满足自反性、对称性与传递性

• 相似必然合同，但合同不一定相似

• 在欧氏空间中，合同变换体现为在平面到自身的一一变换下，任意线段的长和它的像的长总相等

• 正交变换是一种合同变换

• 更多的内容将在后文二次型理论中提到

矩阵相似

补充定义：

  代数重数，指特征值在特征方程中作为根的重数；

  几何重数，指特征值对应的特征向量生成空间的维数，或者说是对应特征向量的极大线性无关组中向量个数；

  几何重数必然小于或等于代数重数

• 矩阵相似：相似一定等价

• 矩阵相似：若存在可逆阵$P$，使得$PAP^{-1}=B$，则$A\sim B$（矩阵相似）

  上述条件等价于存在一系列初等矩阵$P_1,P_2,\cdots,P_n$，使得$A=P_1P_2\cdots P_nBP^{-1}_nP^{-1}_{n-1}\cdots P^{-1}_1$

  其中$PAP^{-1}$称为$A$的相似变换

• 矩阵相似的充要条件：有相同的初等因子 / 有相同的Jordan标准型

• 如果两个矩阵均可被相似对角化且都相似于同一对角阵，则两矩阵必然相似

• 仅对实对称矩阵而言，相似的充要条件是有相同的特征值，因为他们都相似于同一对角矩阵

• 对一般的矩阵而言，有相似的特征值只是相似的必要条件，即使特征值和特征向量均完全相同，也不一定相似，除非加上条件：两矩阵均可相似对角化，这也是为什么实对称矩阵有相同特征值便相似的原因（实对称矩阵必能相似对角化）

• 由上可推出，相似必然合同，但合同不一定相似

• 相似变换不改变特征值

  • 自然也不改变迹和行列式
  • 若$A\sim B$，则$(a_nA^n+a_{n-1}A^{n-1}+\cdots+a_0E)\sim(a_nB^n+a_{n-1}B^{n-1}+\cdots+a_0E)$

• 相似变换：同⼀个线性变换在不同基下的表示矩阵相似，这是相似的另一种定义

• 特征值相等，且$A$的特征向量$a$等于$Pb$

• 能相似对角化的两矩阵，若特征值相等则可以导出相似

• 判定一般矩阵是否相似：

  1. 先检查迹，应当相等，迹如果都不一样就没必要进一步讨论了，必然不相似
  2. 验证⾏列式是否相等，若不相等则不相似
  3. 观察是否均可对角化，若其中一个可以对角化而另一个不能，则不相似
  4. 再判断秩，应该相等，若不相等则不相似
  5. 接着验证特征值是否均相等，若不相等则不相似（对实对称矩阵而言是充要的）
  6. 得到特征值$\lambda_i$后，观察$\lambda_iA-E$与$\lambda_iB-E$的行列式与秩是否相等（若$A$、$B$相似，则这⼆者必相似，反之也成⽴）
  7. 以上均为必要条件，矩阵相似没有简单而通用的判断方法，除非计算Jordan标准型或初等因子，但对于笔算而言计算量过于大了；不过，通常到第 6 步时相似性已经能够判断

• 矩阵的转置与⾃身相似，即$A\sim A^T$

  如果两矩阵相似，则他们的转置阵相似，即如果$A\sim B$，则$A^T\sim B^T$

  如果两矩阵相似且可逆，则他们的逆矩阵相似，即如果$A\sim B$且$A^{-1}$存在，则$A^{-1}\sim B^{-1}$

  如果两矩阵相似，则他们的伴随矩阵相似，即如果$A\sim B$，则$A^{\ast}\sim B^{\ast}$

  综上所述，如果矩阵$A,B$相似，则他们的任意次转置、逆与伴随所复合的矩阵$A_1,B_1$也相似

• $AB$与$BA$并不一定相似，即使二者一定有相同的特征多项式与特征值

  尽管可以证明二者特征值的代数重数必然相等，但几何重数却不一定相等，这也导致了连秩都可能是不同的

  就算$A,B$都是$n$阶可逆矩阵$AB$与$BA$也不一定相似，但如果$A,B$都是$n$阶实对称阵就可以断言必有$AB,BA$相似了

• 为什么有的矩阵特征值相同，却不相似？因为各特征值的代数重数相同，几何重数却不一定相同。即，两个线性变换的特征值相同只代表他们的缩放倍率相同，但缩放方向可能不同，那么他们就可能并不是同一个线性变换，简单例子如$\left(\begin{matrix}0&0\\0&0\\\end{matrix}\right)$与$\left(\begin{matrix}1&0\\0&0\\\end{matrix}\right)$，二者特征值均为$0$、$0$，即都会产生“压缩”，但前者是将平行四边形“压”成点，而后者仅是“压”成线，缩放效果不同，对应的特征向量也不相同。更一般的，即使特征值相同、二者的对应的代数重数与几何重数也都相同，矩阵也不一定相似。“充要”的办法，还是只能考虑初等因子和Jordan标准型，但计算量十分地大；如果两个矩阵均可相似对角化，且特征方程相同 / 特征值相同，则两矩阵相似。

矩阵的逆

• 矩阵求逆的四种基本⽅法：

  1. 公式法，针对⼆阶⽅阵的简便算法：

     $$\left[\begin{matrix}a&b\\c&d\\\end{matrix}\right]=\frac1{|A|}\left[\begin{matrix}d&-b\\-c&a\\\end{matrix}\right]$$

  2. 伴随矩阵法，通⽤但麻烦：$A^{-1}=\frac1{|A|}A^{\ast}$，重要性更多地体现在理论上

     本章末给出了该方法的改进计算法，使得计算时不必再考虑代数余子式的符号的问题

  3. 初等变换法，即高斯消元法，，有行变换与列变换两种方法：

     • 行变换方法：将矩阵$A$作为分块，右接单位阵$E$进行增广，即$[A|E]$，经初等行变化将左分块$A$变为$E$时得到结果$[E|A^{-1}]$（可以看作整体左乘$A^{-1}$的结果，这是为什么只能进初等行变换的原因），再”取出“逆矩阵即可；这种方法可以推广到求$A^{-1}B$，对$[A|B]$进行同样的操作即可

     • 列变化方法：下接$E$，然后做相应的初等列变换即可

     实际上右接$E$是在“记录”将$A$化为$E$时的行变换，下接$E$则在“记录”列变换；换一个角度看，对于$[A|E]$，左乘$A^{-1}$即得$[E|A^{-1}]$，由于左乘对应初等行变换，所以将$A$用初等行变换化为$E$时右边剩余的部分即为$A^{-1}$。对分块矩阵也可以类似操作，但是在试图利用分块阵的逆时要注意子阵是否可逆呦！

  4. 在计算机中，使用LU分解法、SVD分解法、QR分解法更容易处理，而且适合并行计算

• 逆与与转置可交换；与指数也可交换；与伴随也可交换，即$(A^{\ast})^{-1}=(A^{-1})^{\ast}=\frac1{|A|}A$

• 基本初等矩阵的逆：

  1. 交换某两行或某两列，由于交换两次后恢复原矩阵，因此逆就是自身

     $$\left[\begin{matrix}&1&\\1&&\\&&1\\\end{matrix}\right]^{-1}=\left[\begin{matrix}&1&\\1&&\\&&1\\\end{matrix}\right]$$

  2. 某一行或某一列倍乘$k$（$k\neq0$），逆是主对角线上的那个$k$取其倒数$\frac1k$，其余元素不变

     $$\left[\begin{matrix}k&&\\&1&\\&&1\\\end{matrix}\right]^{-1}=\left[\begin{matrix}\frac1k&&\\&1&\\&&1\\\end{matrix}\right]$$

  3. 某一行（某一列）倍乘$k$后加到另一行（另一列），逆是非主对角线上的那个$k$取其相反数$-k$，其余元素不变

     $$\left[\begin{matrix}1&k&\\&1&\\&&1\\\end{matrix}\right]^{-1}=\left[\begin{matrix}1&-k&\\&1&\\&&1\\\end{matrix}\right]$$

  很多时候，利用初等矩阵的逆与对应的初等变换来计算矩阵乘法，能够极大地减少计算量

  对于复合的初等矩阵，也可以这样逐步操作求逆，但是一定要调换顺序，因为$(ABC)^{-1}=C^{-1}B^{-1}A^{-1}$

  因此，本来是在矩阵左边乘起来的行变换，在式子取逆后也就变成了右乘，这时他是相应的列变换

• 分块矩阵的逆：参见另一篇文章线性回归的理论与应用的附录： 分块矩阵的逆 部分，在此给出最简单的分块矩阵的逆：

  • 当$A,B$均为可逆矩阵时（不要求同阶），有$\left(\begin{matrix}A&O\\O&B\\\end{matrix}\right)^{-1}=\left(\begin{matrix}A^{-1}&O\\O&B^{-1}\\\end{matrix}\right)$，其实这可以通过复合初等变换直接得到
  • 当$A,B$均为可逆矩阵时（不要求同阶），有$\left(\begin{matrix}O&A\\B&O\\\end{matrix}\right)^{-1}=\left(\begin{matrix}O&B^{-1}\\A^{-1}&O\\\end{matrix}\right)$
  • 当$A,C$均为可逆矩阵时（不要求$B$为方阵），有$\left(\begin{matrix}A&O\\B&C\\\end{matrix}\right)^{-1}=\left(\begin{matrix}A^{-1}&O\\-C^{-1}BA^{-1}&B^{-1}\\\end{matrix}\right)$

• 任何$n$阶可逆方阵$A$，逆$A^{-1}$一定是$A$的多项式，且该多项式的形式不唯一；如果限定该多项式最高次小于极小多项式次数，则多项式是唯一存在的（不断乘上特征多项式，总能用更高次的多项式表示$A^{-1}$）

  任何$n$阶方阵$A$，伴随矩阵$A^{\ast}$一定是$A$的多项式，对$A$不可逆情形可以考虑摄动法证明

• 对于三阶矩阵的伴随矩阵 / 逆矩阵，有一些相对而言更方便的计算方法。这里给出一种可以在计算中不用考虑代数余子式符号$(-1)^{m+n}$的计算法，以计算矩阵$\left(\begin{matrix}1&2&-2\\3&1&2\\2&-5&3\end{matrix}\right)$的逆为例：

  1. 首先将矩阵拓展至$5$列，其中第$4,5$列分别照抄原矩阵的第$1,2$列，即

     $$\left(\begin{array}{ccc:cc} 1&2&-2&1&2\\ 3&1&2&3&1\\ 2&-5&3&2&-5 \end{array}\right)$$

  2. 接着将新矩阵再拓展至$5$行，其中第$4,5$行分别照抄新矩阵的第$1,2$行，即

     $$\left(\begin{array}{ccccc} 1&2&-2&1&2\\ 3&1&2&3&1\\ 2&-5&3&2&-5\\ \hdashline 1&2&-2&1&2\\ 3&1&2&3&1 \end{array}\right)$$

  3. 划去第$1$行与第$1$列不考虑，即

     $$\left(\begin{array}{c|cccc} 1&2&-2&1&2\\ \hline 3&1&2&3&1\\ 2&-5&3&2&-5\\ 1&2&-2&1&2\\ 3&1&2&3&1 \end{array}\right)\Rightarrow\left(\begin{array}{cccc} 1&2&3&1\\ -5&3&2&-5\\ 2&-2&1&2\\ 1&2&3&1 \end{array}\right)$$

  4. 接着计算新矩阵的每个相邻行列的二阶主子式，共计$3\times3=9$个，他们相对位置的值分别就是$(A^{\ast})^T$对应位置元素的值，也就是说，不妨记新矩阵为$B_{4\times4}$，则

     $$A^{\ast}_{ij}=\left|\begin{matrix}B_{j,i}&B_{j,i+1}\\B_{j+1,i}&B_{j+1,i+1}\end{matrix}\right|,\ \ \ \ \ \ 1\leqslant i,j\leqslant4$$

     分别计算，可以得到

     $$\left(\begin{array}{cccc} 1&2&3&1\\ -5&3&2&-5\\ 2&-2&1&2\\ 1&2&3&1 \end{array}\right)\to\left(\begin{array}{ccc} \left|\begin{matrix}1&2\\-5&3\end{matrix}\right|&\left|\begin{matrix}-5&3\\2&-2\end{matrix}\right|&\left|\begin{matrix}2&-2\\1&2\end{matrix}\right|\\ \left|\begin{matrix}2&3\\3&2\end{matrix}\right|&\left|\begin{matrix}3&2\\-2&1\end{matrix}\right|&\left|\begin{matrix}-2&1\\2&3\end{matrix}\right|\\ \left|\begin{matrix}3&1\\2&-5\end{matrix}\right|&\left|\begin{matrix}2&-5\\1&2\end{matrix}\right|&\left|\begin{matrix}1&2\\3&1\end{matrix}\right| \end{array}\right)=A^{\ast}$$

     二阶行列式是很好计算的，不难得

     $$A^{\ast}=\left(\begin{matrix}13&4&6\\-5&7&-8\\-17&9&-5\\\end{matrix}\right)$$

  5. 如果要进一步计算原矩阵的逆，按伴随矩阵与逆矩阵的关系，计算出行列式$|A|$然后代入$A^{-1}=\frac1{|A|}A^{\ast}$即可。但这里并不需要在从$A$出发计算$|A|$，根据行列式的辅因子展开，直接用$A$的第一行点乘$A^{\ast}$的第一行结果即是$A$（乘其他行或者乘列当然也都是可行的），所以

     $$|A|=\left(\begin{matrix}1,2,-2\end{matrix}\right)\cdot\left(\begin{matrix}13\\-5\\-17\end{matrix}\right)=13-10+34=37$$

     因此

     $$A^{\ast}=\frac1{37}\left(\begin{matrix}13&4&6\\-5&7&-8\\-17&9&-5\\\end{matrix}\right)$$

     这一方法的“好”在于不用考虑恼人的符号了

矩阵的秩

• 矩阵$\boldsymbol{A}$秩的等价定义：秩等于……

  1. 最⾼阶不为零⼦式的阶数
  2. ⾏向量组或列向量组的极⼤线性⽆关组中所含向量个数
  3. 列数减去$\boldsymbol{Ax=0}$解空间的维数（kernel的维数）
     • 或者说是减去基础解系中自由变量的个数
     • 或者说是减去线性无关解的个数
  4. 当$\boldsymbol{A}$是方阵时，秩等于阶数减去零特征值的特征子空间维数
     • 或者说是阶数减去零特征值的几何重数
  5. 线性变换值域（image，像空间）的维数，即 $\text{rank}(A)=\dim\big(\text{值域}(A)\big)$

• 欲求一个具体矩阵的秩，做初等行（列）变换将矩阵化为行（列）阶梯型矩阵不失为一个好办法

• 矩阵秩的等式与不等式：

  1. $0\leqslant r(A)\leqslant \min\{n,m\}$，$A\in\mathbb{R}^{n\times m}$

  2. $r(A)=r(A^T)=r(AA^T)=r(A^TA)\xlongequal{\text{if }\,n=m}r(A^n)$，$A\in\mathbb{R}^{n\times m}$

  3. $r(A+B)\leqslant r\big[(A,B)\big]\leqslant r(A)+r(B)$

  4. $\max\{r(A),r(B)\}\leqslant r\big[(A,B)\big]\leqslant r(A)+r(B)$

  5. $r(AB)\leqslant r(A),r(B)$

  6. $\text{if }AB=O,\text{ then }r(A)+r(B)\leqslant n,\ \ n$为$A$的列数或$B$的行数

     万分注意，$n$并不是零矩阵$O$的行数或列数而是$A$的列数或$B$的行数。例如，假设$A$是$m\times n$矩阵、$B$是$n\times k$矩阵，若有$AB=O_{m\times k}$，则$r(A)+r(B)\leqslant n$，该不等式与零矩阵$O$的形状没有任何关系！

  7. 若$A$列满秩，则$r(AB)=r(B)$（矩阵左乘列满秩矩阵 / 右乘行满秩矩阵不改变秩）

  8. $r\left(\left[\begin{matrix}A&O\\O&B\\\end{matrix}\right]\right)=r(A)+r(B)$

  9. $r(A)+r(B)\leqslant r\left(\left[\begin{matrix}A&O\\C&B\\\end{matrix}\right]\right)\leqslant r(A)+r(B)+r(C)$

  10. $r(A)+r(E+A)\geqslant n$，$A$为$n$阶矩阵

  11. $Frobenius:\ \ r(ABC)\geqslant r(AB)+r(BC)-r(B)$

  12. $\Rightarrow Sylvester:\ \ r(AB)\geqslant r(A)+r(B)-n$

• 伴随矩阵的秩：对于$n$阶方阵$A$，

  $$\text{rank}(A^{\ast})= \left\{\begin{aligned} &n,&&\text{rank}(A)=n\\ &1,&&\text{rank}(A)=n-1\\ &0,&&\text{rank}(A)\lt n-1 \end{aligned}\right.$$

• 一般而言，对于等价的$n$阶矩阵$A,B$不一定成立$r(AB)=r(BA)$，即使$A,B$有相同的特征多项式与特征值——因为$r(AB)=r(BA)$的充要条件是$AB$和$BA$的零特征值的代数重数相同、几何重数也相同，但通常来说$AB$与$BA$只有零特征值的代数重数必然相同，几何重数是不一定相同的；

  同理也不一定成立$r(A^2)=r(B^2)$，这在前文是已经有所提及的；

  在后文“特征值、特征向量与特征子空间”中会给出秩与特征值、特征子空间的关系，实际上方阵的秩等于阶数减去零特征值的几何重数，这样一来为何存在$r(AB)\neq r(BA)$就显而易见了；也可以知道$A^2$与$B^2$。由此可以导出推论：

  • 如果$A,B$均满秩，则$r(AB)=r(BA)=n$；

  • 如果$AB,BA$均有$n$个线性无关的特征向量，则$r(AB)=r(BA)$；

  $r(A)=r(B)$但$r(AB)\neq r(BA)$、$r(A^2)\neq r(B^2)$的一个经典例子是：

  $$\color{#6666FF}{A=\left(\begin{matrix}1&1&\cdots&1\\0&0&\cdots&0\\\vdots&\vdots&&\vdots\\0&0&\cdots&0\end{matrix}\right)_{n\times n}\Rightarrow\ \ \ \ \ r(A)=1}$$$$\color{#6666FF}{B=\left(\begin{matrix}1&1&\cdots&1\\-1&-1&\cdots&-1\\\vdots&\vdots&&\vdots\\0&0&\cdots&0\end{matrix}\right)_{n\times n}\Rightarrow\ \ \ \ \ r(B)=1}$$

  $A,B$具有相同的秩$1$，容易验证：

  $$\begin{align}&\color{#6666FF}{AB=O_{n\times n}}&&\color{#6666FF}{\Rightarrow}&&\color{#6666FF}{r(AB)=0}\\&\color{#6666FF}{BA=B}&&\color{#6666FF}{\Rightarrow}&&\color{#6666FF}{r(BA)=1}\end{align}$$$$\color{#6666FF}{-------------------}\notag$$$$\begin{align}&\color{#6666FF}{A^2=A}&&\color{#6666FF}{\Rightarrow}&&\color{#6666FF}{r(A^2)=1}\\&\color{#6666FF}{B^2=O_{n\times n}}&&\color{#6666FF}{\Rightarrow}&&\color{#6666FF}{r(B^2)=0}\end{align}$$

  这个例子十分重要，在本文已经是第二次出现了

线性变换与特殊矩阵

• 正交变换：是一种线性变换，定义是从实或复的内积空间映射到自身且保持内积不变的变换。由于模长与夹角是用内积定义的，所以正交变换不改变图形的面积、大小，标准正交基经正交变换后仍为标准正交基。注意，在有限维空间下正交变换不一定等价于正交矩阵，从标准正交基变换到另一组标准正交基的过渡矩阵才是正交矩阵。在欧式空间中，正交变换只包含瑕旋转

• 正交矩阵：$A^HA=E$，在$\mathbb{R}^{n\times m}$上表现为$A^T=A^{-1}$；正交矩阵的特点是行或列向量间正交，且长度均为$1$。正交矩阵的特征值只可能为$\pm1$，这体现在正交变换不改变图形大小，即仅包含旋转与反射及其组合。正交矩阵的特征值只可能为$1$或$-1$，结合正交变换的性质这是容易理解的

• 判断正交矩阵，除了验证是否有$A^TA=E$、行列向量是否两两正交，最简便的办法是先看看各行或列平方和是否为$1$，如果不是则必然不是正交矩阵

• 正交矩阵的逆矩阵也是正交矩阵，正交矩阵的伴随矩阵也是正交矩阵

• 双线性函数：是内积的推广；和线性函数类似，在有限维线性空间中，由他对基的作用而唯一确定

• 合同变换：互相合同的矩阵，是双线性函数在不同基下的度量矩阵

• 矩阵合同：矩阵的合同变换，可以认为是对行列同时施加相同的操作

• 正交变换系合同变换

• 相似变换：在欧式空间中体现为图形的形状不变，尽管大小、方向与位置都可能改变；在矩阵的相似变换体现是两矩阵相似。相似变换实际上是同一个线性变换在不同基下的度量矩阵

矩阵杂例

特殊矩阵

• 伴随矩阵$\{A_{ij}\}$，其中$A_{ij}$是$a_{ij}$的代数余子式

  • $(kA)^{\ast}=k^{n-1}A^{\ast}$

  • 伴随矩阵的伴随矩阵：$(A^{\ast})^{\ast}=|A|^{n-2}A$

  • 将伴随与转置视为算子，则他们是可交换的：$(A^{\ast})^T=(A^T)^{\ast}$；与逆同样是可交换的，$(A^{\ast})^{-1}=(A^{-1})^{\ast}=\frac1{|A|}A$

  • 当方阵不可逆时，他的伴随矩阵与他的积为$O$：恒有$A^{\ast}A=AA^{\ast}=|A|E$，当$A$不可逆有$A^{\ast}A=AA^{\ast}=O$

  • 已知伴随矩阵，如何求原矩阵？注意到只有伴随矩阵满秩时才能惟一求解（$A^{-1}=\frac1{|A|}A^{\ast}$，而逆矩阵是唯一的），否则对应的原矩阵不唯一；当$A^{\ast}$满秩时，可利用$A=\left(\frac1{|A|}A^{\ast}\right)^{-1}=\sqrt[n-1]{|A^{\ast}|}\ \ (A^{\ast})^{-1}$，其中$(A^{\ast})^{-1}$可以通过高斯消元法求解

  • 和转置有$(AB)^T=B^TA^T$、逆有$(AB)^{-1}=B^{-1}A^{-1}$类似的，伴随有$(AB)^{\ast}=B^{\ast}A^{\ast}$，三者均可任意交换计算次序

  • 伴随矩阵的秩：

    $$\text{rank}(A^{\ast})= \left\{\begin{aligned} &n,&&\text{rank}(A)=n\\ &1,&&\text{rank}(A)=n-1\\ &0,&&\text{rank}(A)\lt n-1 \end{aligned}\right.$$

    特别的，当$r(A)=n-1$、$r(A^{\ast})=1$，如果$A$可相似对角化，则$A^{\ast}$的唯一非零特征值的值等于$A$的$n-1$个非零特征值的乘积，也等于$\mathrm{tr}(A^{\ast})$；由于$r(A^{\ast})=1$，$A^{\ast}$的行或列之间也一定是成比例的

  • 伴随矩阵一定可以被表为原矩阵的某个多项式

  • 如果矩阵是对称阵，则其伴随矩阵也一定对称（根据定义易见）

• 矩阵$A$的转置矩阵$A^T$

  • $A\sim A^T$，即$A$与$A^T$相似，因此二者具有相同的特征多项式与特征值

  • 不同特征值对应的$A$的特征向量与$A^T$的特征向量必然正交

    这里做一个简短证明：设$A\alpha_1=\lambda_1\alpha_1$、$A^T\alpha_2=\lambda_2\alpha_2$，其中$\lambda_1\neq\lambda_2$且$\alpha_1,\alpha_2$均为非零向量，则有

    $$\lambda_1\alpha^T_1\alpha_2=(A\alpha_1)^T\alpha_2=\alpha^T_1(A^T\alpha_2)=\lambda_2\alpha^T_1\alpha_2$$

    而$\lambda_1\neq\lambda_2$，所以只能有$\alpha^T_1\alpha_2=0$，证毕

• $AA^T$和$A^TA$的性质总结：在$A$为实矩阵前提下，

  • $AA^T$与$A^TA$均为实对称矩阵，当$A$是方阵时$AA^T,A^TA$特征值均相等且非负，而且其特征值恰为$A$特征值的平方，因此有相似关系$AA^T\sim A^TA$
  • 由相似可导出矩阵等价，即$r(AA^T)=r(A^TA)$，这一性质对于复数域上的矩阵仍成立；又由于$A$是实矩阵，故还有$r(AA^T)=r(A^TA)=r(A)$
  • 如果$A$是方阵，则$AA^T$与$A^TA$正定的充要条件是$A$没有$0$特征值
  • 如果$AA^T=O$，则$A^TA=O$，当$A$是方阵时，由于$r(AA^T)=r(A^TA)=r(A)=0$，因此$A=O$
  • 但是一般来说$AA^T\neq A^TA$，即使$A$是方阵
  • 如果$A$是方阵，则当且仅当$A$是上三角阵甚至于对角阵时$A$才与$A^T$可交换，即$AA^T=A^TA$

• $aa^T$也是对称的正定矩阵，其秩一定为$1$，而且$\text{tr}(aa^T)=a^Ta$，这类矩阵的性质将在下文中讨论

• 正交矩阵：$AA^T=A^TA=E\Rightarrow A^T=A^{-1}$，特征值必为$1$或$-1$，行列式必为$1$或$-1$，矩阵的行向量间或者列向量间必定两两正交，而且每个行向量与列向量的长度均为$1$；

  两个正交矩阵相乘，结果仍是正交矩阵；任何矩阵与正交矩阵相乘，特征值都不会变化（正交变换也是不改变向量长度的）

• 对于$n$阶实矩阵而言，矩阵是实对称阵的充要条件是矩阵有$n$个两两正交的特征向量

  对任何对称阵$A$都有$A=\frac12(A+A^T)$，对任何反对称阵$A$都有$A=\frac12(A-A^T)$，对任何方阵都有$A=\frac12(A+A^T)+\frac12(A-A^T)$

• 反对称阵：相信绝大多数对线性代数有所了解的人都不会对实对称阵感到陌生，这里浅浅归纳一下出现频率没有那么高的反对称阵（$A^T=-A$）的性质：

  1. 反对称阵主子式元素必为$0$，因此迹也为$0$
  2. 奇数阶反对称阵行列式必为$\boldsymbol0$
  3. 任何反对称矩阵行列式非负
  4. $n$阶方阵$A$是反对称阵的充要条件是$\forall x\in\mathbb{R}^n$，有$x^TAx=0$（其实在任何数域上都是成立的）
  5. 实反对称阵的特征值只能为$0$或纯虚数
  6. 实反对称阵的秩必为偶数

  参考文章：知乎: 反对称阵相关性质的总结（高等代数 · 性质齐全且全部给出证明，并辅以例题）

计算杂例

• 关于$\boldsymbol{A^n}$的求法总结如下：

  1. 如果矩阵$A$的秩为$1$，则可以分解为两个向量之积$\alpha\beta^T$，容易验证此时必有$A^n=k^{n-1}A$，只要求出$k$即可；关于矩阵$\alpha\beta^T$的性质将在特征值与特征向量小节中做完整归纳

     事实上有结论：$\boldsymbol{k}=\text{tr}(\boldsymbol{A})=\boldsymbol{a}^T\boldsymbol{b}$

     • 特别地， $$\begin{aligned}\left[\begin{matrix}k&k&\cdots&k\\k&k&\cdots&k\\\vdots&\vdots&&\vdots\\k&k&\cdots&k\\\end{matrix}\right]^m_{n\times n}&=(nk)^{m-1}\cdot\left[\begin{matrix}k&k&\cdots&k\\k&k&\cdots&k\\\vdots&\vdots&&\vdots\\k&k&\cdots&k\\\end{matrix}\right]_{n\times n}\\&=k(nk)^{m-1}\cdot\left[\begin{matrix}1&1&\cdots&1\\1&1&\cdots&1\\\vdots&\vdots&&\vdots\\1&1&\cdots&1\\\end{matrix}\right]_{n\times n}\end{aligned}$$

  2. 所有主对角线元素为$0$的上下三角阵都是$n$次幂零矩阵（反之不成立），$n$阶这样的矩阵$A$的第$n$次方必为$O$，例如：

     $$\begin{aligned} A&=\left[\begin{matrix}&1&2&3\\&&4&5\\&&&6\\&&&\\\end{matrix}\right]&&A^2=\left[\begin{matrix}&&4&17\\&&&24\\&&&\\&&&\\\end{matrix}\right]\\ A^3&=\left[\begin{matrix}&&&24\\&&&\\&&&\\&&&\\\end{matrix}\right]&&A^4=O \end{aligned}$$

     可以观察到趋于$O$时，元素的变化也是有规律的，

     利用矩阵加法，一般的上下三角阵$n$次方也可以计算，如：

     $$\begin{align} \left[\begin{matrix}1&2&3\\&1&4\\&&1\\\end{matrix}\right]^n&=\left(\left[\begin{matrix}1&&\\&1&\\&&1\\\end{matrix}\right]+\left[\begin{matrix}&2&3\\&&4\\&&\\\end{matrix}\right]\right)^n\\ &=E^n+C^1_nE^{n-1}\left[\begin{matrix}&2&3\\&&4\\&&\\\end{matrix}\right]+C^2_nE^{n-2}\left[\begin{matrix}&2&3\\&&4\\&&\\\end{matrix}\right]^2+0+0+\cdots\\ &=\left[\begin{matrix}1&2n&n(4n-1)\\&1&4n\\&&1\\\end{matrix}\right] \end{align}$$

     事实上Jordan标准型就可以被拆分为对角阵和幂零矩阵的和；由此可见，幂零矩阵虽然特征值均为$0$，但其本身不一定为零矩阵

  3. 利用对角化的快速幂方法（相似对角化，考虑特征值分解），若存在可逆阵$P$使得$A=P\Lambda P^{-1}$且$\Lambda$为对角矩阵，利用对角阵$(\lambda_{ij})$有$(\lambda_{ij})^n=(\lambda^n_{ij})$进而计算$B^n$，有$A^n=P\Lambda P^{-1}P\Lambda P^{-1}\cdots P\Lambda P^{-1}=P\Lambda^nP^{-1}$；$P$可以为任一特征向量矩阵

     推论：该方法也可以用于直接表出$A^n\xi$的通式，只要$\xi$能被表示为$A$的线性无关的特征向量的线性组合

  4. 对于以下的类对角阵，当$A,B$为方阵时，有

     $$\left[\begin{matrix}A&O\\O&B\\\end{matrix}\right]^n=\left[\begin{matrix}A^n&O\\O&B^n\\\end{matrix}\right]$$

     当$A,B$为同阶方阵时（以下公式在两矩阵不同阶时不成立），有

     $$\left[\begin{matrix}O&A\\B&O\\\end{matrix}\right]^2=\left[\begin{matrix}AB&O\\O&BA\\\end{matrix}\right]$$

     因此，

     $$\Rightarrow\forall k\in\mathbb{N},\ \ \left\{\begin{aligned} &\left[\begin{matrix}O&A\\B&O\\\end{matrix}\right]^{2k}=\left[\begin{matrix}(AB)^k&O\\O&(BA)^k\\\end{matrix}\right]\\ &\left[\begin{matrix}O&A\\B&O\\\end{matrix}\right]^{2k+1}=\left[\begin{matrix}(AB)^k&O\\O&(BA)^k\\\end{matrix}\right]\left[\begin{matrix}O&A\\B&O\\\end{matrix}\right]=\left[\begin{matrix}O&(AB)^kA\\(BA)^kB&O\\\end{matrix}\right] \end{aligned}\right.$$

  5. 通用方法：化为Jordan标准型，注意到这是一种上三角矩阵（类对角化），于是无论是结合第$1$点还是结合第$3$点，所有的矩阵都可以计算$n$次幂通式了。不过该方法笔算的计算相对大得多……

• 解矩阵方程$\boldsymbol{AX=B}$的方法列在了下文“线性方程组”中

• 给定两个同阶矩阵$A,B$，如果存在可逆矩阵$P$使得$P^{-1}AP=B$，也就是说$A$可以经相似变换$P$化为$B$，那么该如何寻找所有可能的$P$呢？换句话说，就是如何求任意两相似矩阵间的相似变换。

  方法一：当$A$或$B$可相似对角化时，可以考虑该方法。分别计算$A,B$的特征值与特征向量将其对角化，不妨设分别有$P^{-1}_1AP_1=\Lambda$，$P^{-1}_2BP_2=\Lambda$，联立得$P^{-1}_1AP_1=P^{-1}_2BP_2$，因此有$P_2P^{-1}_1AP_1P^{-1}_2=B$，所以可令$P=P_1P^{-1}_2$，则这样得到的$P$就是满足要求的一个解。该方法较为局限，一是只有在$A,B$相似于同一对角阵时才能使用，二是不能解出所有可能的$P$，只是给出了一个可行的解。

  方法二：该方法从特征值与特征向量原理出发，更为通用。设$A,B$均为$n$阶方阵，记$P=(\alpha_1,\alpha_2,\cdots,\alpha_n)$，其中$\{\alpha_i\}$是线性无关的$n$维列向量组，根据条件$P^{-1}AP=B$，有

  $$AP=(A\alpha_1,A\alpha_2,\cdots,A\alpha_n)=PB=(\alpha_1,\alpha_2,\cdots,\alpha_n)B$$

  注意到上式中$(\alpha_1,\alpha_2,\cdots,\alpha_n)B$是可以直接计算的列向量组$(\alpha_1,\alpha_2,\cdots,\alpha_n)$的线性组合，即

  $$\left\{\begin{aligned} &A\alpha_1=b_{11}\alpha_1+b_{21}\alpha_2+\cdots+b_{n1}\alpha_n\\ &A\alpha_2=b_{12}\alpha_1+b_{22}\alpha_2+\cdots+b_{n2}\alpha_n\\ &\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \cdots\ \cdots\\ &A\alpha_n=b_{1n}\alpha_1+b_{2n}\alpha_2+\cdots+b_{nn}\alpha_n\\ \end{aligned}\right.$$

  到这里，如果有一部分方程等价为$A$的特征向量的定义，则可以计算$A$相应特征值的特征向量来优先解出这个向量，再代回方程组解出其他的向量；如果$A$是一个Jordan标准型，则可以求循环基；如果上述方法都不可用，则只好设$n^2$个未知数硬解$P$了。

• 给定一个$A$，如果存在下三角可逆阵$P$与上三角可逆阵$Q$使得$PAQ=\Lambda$，其中$\Lambda$是一个对角阵，那么该如何寻找这样的$P$与$Q$？

  尽管这不是相似对角化问题，但由于$P$与$Q$是可逆的，因此该问题等价于找出一系列的有限个初等行列变换，使得$A$化为对角阵。

  本着和矩阵求逆一样用分块阵“记录”变换的思想，这种问题可以分两步解决：

  • 对$(A,E)$作初等行变换，将左边的$A$化为上三角阵$U$，整体上$(A,E)\to(U,P)$，实际上是$P(A,E)=(U,P)$，注意左乘矩阵对应行变换；
  • 对$\left(\begin{matrix}U\\E\end{matrix}\right)$作初等列变换，将上边的$U$化为对角阵$\Lambda$，整体上$\left(\begin{matrix}U\\E\end{matrix}\right)\to\left(\begin{matrix}\Lambda\\Q\end{matrix}\right)$，实际上是$\left(\begin{matrix}U\\E\end{matrix}\right)Q=\left(\begin{matrix}\Lambda\\Q\end{matrix}\right)$，注意右乘矩阵对应列变换；
  • 如此一来，就得到了使得$PAQ=\Lambda$的$P$与$Q$

• 凡是可以相似对角化且特征值均非负的实方阵$A$，我们都可以很方便地算出其实平方根矩阵$A^{\frac12}$：设特征值均非负的矩阵$A$可相似对角化（即存在一可逆矩阵$P$使得$P^{-1}AP=\Lambda$，其中$\Lambda$是以$A$特征值为对角元的对角矩阵），接着记$A$的平方根矩阵为$B$，也就是设$B^2=A$，则$B=P\Lambda^{\frac12}P^{-1}$，其中$\Lambda^{\frac12}$是将$\Lambda$对角元取平方根后得到的新对角阵。

  这个方法的原理很简单，因为$B^2=P\Lambda^{\frac12}\Lambda^{\frac12}P^{-1}=P\Lambda P^{-1}=A$，按同样的思路也可以计算“立方根矩阵”、“四次根矩阵”等；由于正定矩阵必可对角化且特征值均非负，所以对于正定矩阵必然可以用这个方法求其平方根矩阵。