矩阵广义逆 · Shun Li's Notes

广义逆

Definition (广义逆)

对于矩阵 $A \in \mathbb{R}^{m \times n}$ 和 $B \in \mathbb{R}^{n \times m}$ ，称 $B$ 为 $A$ 的广义逆，如果满足

Copy LaTeX

一个显然的性质：如果 $A$ 是可逆的方阵，那么广义逆会退化到唯一的 $A^{-1}$ 。广义逆可以用来描述线性方程组的解：

Proposition

对于线性方程组 $A x = b$ ， $A \in \mathbb{R}^{m \times n}$ ， $b \in \mathbb{R}^m$ ， $B$ 为 $A$ 的某个广义逆，那么

方程组有解等价于 $B b$ 是 $A x = b$ 的特解；
在方程组有解时， $A x = b$ 的解集为 $\{B b + (I - B A)y \mid y \in \mathbb{R}^n\}$ 。

Proof

充分性显然，必要性证明
$Copy LaTeX$
一方面
$Copy LaTeX$
另一方面
$Copy LaTeX$

自反广义逆

前面的定义无法保证矩阵和它的“逆矩阵”的关系具有对称性，可以加上约束条件来确保。

Definition (自反广义逆)

对于矩阵 $A \in \mathbb{R}^{m \times n}$ 和 $B \in \mathbb{R}^{n \times m}$ ，称 $B$ 为 $A$ 的自反广义逆，如果满足

Copy LaTeX

Proposition

记 $A \in \mathbb{R}^{m \times n}$ 的相抵标准形为

Copy LaTeX

那么所有的自反广义逆形如

Copy LaTeX

其中 $X,Y$ 为任意子矩阵。

$A \in \mathbb{R}^{m \times n}$ 的自反广义逆始终存在，但是通常不唯一。由上述分块表示可知，只有 $A=0$ 或 $A$ 为可逆方阵时，自反广义逆唯一。

左逆和右逆

在自反广义逆的基础上，如果给矩阵 $A$ 加上一定的条件，例如列满秩或行满秩，可以得到更特殊的左逆或右逆，但是仍然无法保证唯一性。

Definition (左逆和右逆)

对于矩阵 $A \in \mathbb{R}^{m \times n}$ 和 $B \in \mathbb{R}^{n \times m}$ ，

称 $B$ 为 $A$ 的左逆，如果 $B A = I_n$ ；
称 $B$ 为 $A$ 的右逆，如果 $A B = I_m$ 。

Proposition

$A$ 存在左逆矩阵 $B$ 当且仅当 $A$ 列满秩。如果记 $A$ 的相抵标准形为
$Copy LaTeX$
那么所有的左逆形如
$Copy LaTeX$
其中 $X$ 为任意子矩阵。
$A$ 存在右逆矩阵 $B$ 当且仅当 $A$ 行满秩。如果记 $A$ 的相抵标准形为
$Copy LaTeX$
那么所有的右逆形如
$Copy LaTeX$
其中 $X$ 为任意子矩阵。

只有左逆和右逆同时存在，才能保证矩阵的可逆性。

Proposition

以下命题相互等价：（ $A \in \mathbb{R}^{n \times n}$ 是方阵）

$A$ 同时有左逆和右逆；
$A$ 满秩；（行满秩且列满秩）
存在唯一的矩阵作为 $A$ 的左逆和右逆，记作 $A^{-1}$ 。

Moore–Penrose 广义逆

Definition (Moore–Penrose 广义逆)

对于矩阵 $A \in \mathbb{R}^{m \times n}$ 和 $B \in \mathbb{R}^{n \times m}$ ，称 $A^\dagger$ 为 $A$ 的 Moore–Penrose 广义逆，如果满足

Copy LaTeX

Moore–Penrose 广义逆在自反广义逆的基础上又加上了两个条件，因此 Moore–Penrose 广义逆一定是自反广义逆。

Theorem

对于矩阵 $A \in \mathbb{R}^{m \times n}$ ，Moore–Penrose 广义逆存在且唯一，可以通过 $A$ 的奇异值分解构造

Copy LaTeX

Proof

存在性直接验证即可。设满足要求的解形如

Copy LaTeX

那么

Copy LaTeX

因此 $X$ 唯一。

Corollary

若 $A$ 列满秩， $A^\dagger = (A^\mathsf{T} A)^{-1} A^\mathsf{T}$ ；
若 $A$ 行满秩， $A^\dagger = A^\mathsf{T} (A A^\mathsf{T})^{-1}$ 。
若 $A = B C$ ，其中 $B$ 列满秩， $C$ 行满秩，则
$Copy LaTeX$

Remark

若 $A$ 的左逆（右逆）可以定义， $A^\dagger$ 就是左逆（右逆）中的一个。
一般情况下并不能保证 $(B C)^\dagger = C^\dagger B^\dagger$ ，需要加上额外条件。
即使 $A$ 不是行满秩/列满秩，如下等式始终成立
$Copy LaTeX$

Moore–Penrose 广义逆有明确的几何含义——与方程组的最小二乘解存在密切联系。

Proposition

$x = A^\dagger b$ 是 $A x = b$ 的最小二乘解，并且在最小二乘解不唯一时，它是范数最小的解。

Proof

记 $A$ 的奇异值分解为

Copy LaTeX

那么

Copy LaTeX

所有最小二乘解为

Copy LaTeX

其中 $c \in \mathbb{R}^{r \times 1}$ 是 $U^\mathsf{T} b$ 的前 $r$ 个元素， $t \in \mathbb{R}^{(n-r)\times 1}$ 是自由参数。其中范数最小的解为

Copy LaTeX

Remark

这个命题也可以从投影的角度理解： $\mathcal{P} = A A^\dagger$ 是正交投影算子，投影到 $A$ 的值域中。

Remark

实际上，只要满足条件 $A B A = A$ 和 $(A B)^\mathsf{T} = A B$ ，就可以保证 $B b$ 是最小二乘解，此时 $B$ 也成为最小二乘广义逆，但是通常不唯一。

Penrose 条件

将上述概念进一步统一：对于矩阵 $A \in \mathbb{R}^{m \times n}$ ， $B \in \mathbb{R}^{n \times m}$ ，称下面的一组约束为 Penrose 条件

Copy LaTeX

Definition

称 $B$ 是 $A$ 的广义逆，如果满足 Penrose 条件一；
称 $B$ 是 $A$ 的自反广义逆，如果满足 Penrose 条件一和条件二；
称 $B$ 是 $A$ 的最小二乘广义逆，如果满足 Penrose 条件一和条件三；
称 $B$ 是 $A$ 的 Moore–Penrose 广义逆，如果满足所有四个 Penrose 条件，通常记作 $A^\dagger$ 。

更一般地，可以称 $B$ 为 $A$ 的 $I$ -广义逆，其中 $I \subset \{1,2,3,4\}$ ，如果满足集合 $I$ 所对应的 Penrose 条件，例如 $\{1,3\}$ -广义逆。