Schur 补与 Sherman–Morrison–Woodbury 公式

关于具有简单结构的分块矩阵，有如下结论

Copy LaTeX

以及

Copy LaTeX

我们考虑分块矩阵

Copy LaTeX

其中 $A_{11} \in \mathbb{R}^{m\times m}$ 和 $A_{22} \in \mathbb{R}^{n\times n}$ 均为方阵。

如果 $A_{11}$ 是可逆方阵，那么可以用它打洞，将矩阵转换为分块对角矩阵：

Copy LaTeX

整理可得

Copy LaTeX

由此可以得到 Schur 公式

Copy LaTeX

其中

Copy LaTeX

被称为 Schur 补。易得： $A$ 可逆当且仅当 $A$ 的 Schur 补 $S$ 可逆。

上述分解过程对 $A_{22}$ 也同样适用，如果 $A_{22}$ 是可逆方阵，那么：

Copy LaTeX

这也被称为 Schur 公式，其中 Schur 补

Copy LaTeX

Schur 公式表明：如果我们确定 $2\times 2$ 分块矩阵的一个对角方阵可逆，那么整体的可逆性等价于对应的 Schur 补的可逆性，并且在可逆的情况下，可以用 Schur 补的逆来表示整体的逆：如果 $A_{11}$ 和 $S$ 均可逆，那么

Copy LaTeX

如果 $A_{22}$ 和 $T$ 均可逆，那么

Copy LaTeX

如果 $A$ 和 $A_{11}, A_{22}$ 均可逆，比较两个 $A^{-1}$ 展开式还可以得到 $S^{-1}$ 和 $T^{-1}$ 之间的关系:

Copy LaTeX

代入 $S$ 和 $T$ 的完整形式可以得到

Copy LaTeX

这两个公式都可以整理为统一形式，也就是所谓的 Sherman-Morrison-Woodbury 公式。

Theorem (Sherman-Morrison-Woodbury)

已知矩阵 $A \in \mathbb{R}^{m \times m}$ 和 $C \in \mathbb{R}^{n \times n}$ 可逆，考虑矩阵 $B \in \mathbb{R}^{m \times n}$ 和 $D \in \mathbb{R}^{n \times m}$ ，那么： $A - B C^{-1} D$ 可逆等价于 $C - D A^{-1} B$ 可逆，并且

Copy LaTeX

除了这个一般性的公式，还有几个更常用的简化情形：

取 $C = -I_n$ ，那么： $A + B D$ 可逆等价于 $I_n + D A^{-1} B$ 可逆，并且
$Copy LaTeX$
取 $A = I_m$ 以及 $C = -I_n$ ，那么： $I_m + B D$ 可逆等价于 $I_n + D B$ 可逆，并且
$Copy LaTeX$

Sherman-Morrison-Woodbury 公式除了对应最初的 Schur 补的等价关系，还有更加实际的用途：已知一个可逆矩阵 $A \in \mathbb{R}^{m \times m}$ 以及它的逆矩阵 $A^{-1}$ ，对 $A$ 进行低秩扰动（例如 $B C^{-1} D$ 对应一个低秩矩阵的 SVD 分解）

Copy LaTeX

其中 $B \in \mathbb{R}^{m \times n}$ ， $C \in \mathbb{R}^{n \times n}$ 可逆并且 $C^{-1}$ 容易计算， $D \in \mathbb{R}^{n \times m}$ ，并且 $m \gg n$ 。那么，新矩阵的逆 $(A - B C^{-1} D)^{-1}$ 就可以通过 Sherman-Morrison-Woodbury 公式进行快速计算

Copy LaTeX

由于 $A^{-1}$ 已知，这里只需要对一个小矩阵 $C - D A^{-1} B \in \mathbb{R}^{n \times n}$ 求逆（这个小矩阵可逆也是新矩阵可逆的等价条件），可以显著地减少计算量。