Stokes 方程组与 Lagrange 乘子法笔记

Note

参考 Ożański 关于 Lagrange 乘子与定常 Stokes 方程的讨论 [1]。

经典的 Lagrange 乘子法

经典的 Lagrange 乘子法是针对等式约束下的非线性方程最优化问题，将其转化为一个方程组的求解问题，具体形式如下：

Copy LaTeX

其中 $\boldsymbol{x}\in \mathbb{R}^N$ ， $f,g:\mathbb{R}^N \to \mathbb{R}$ ，对于上述问题引入 Lagrange 乘子 $\lambda \in \mathbb{R}$ ，定义 Lagrange 函数 $L(\boldsymbol{x},\lambda)$ ：

Copy LaTeX

假设 $f,g$ 连续可微，并且最优点处 $\nabla g(\boldsymbol{x})\ne 0$ ，则 $\boldsymbol{x}$ 取到局部最优解的必要条件为存在 $\lambda$ 使 $(\boldsymbol{x}, \lambda)$ 满足如下方程组：

Copy LaTeX

注意这只是必要条件，解出的 $\boldsymbol{x}$ 只是候选驻点，需要继续验证是否取到最值。单凭 $f$ 的凸性不能保证上述约束极大值问题的解唯一；例如，在凸可行集上，严格凹函数的极大值点若存在才必然唯一。

通常我们讨论的 Lagrange 乘子法只涉及最优化方面，从最简单的问题出发，然后会从不等式约束、凸优化、机器学习等角度进行推广和应用。本文会从另外的角度入手，考虑泛函语境下的 Lagrange 乘子法，最终目的是理解这样一句话：在不可压流满足的 Stokes 方程组中，压强是作为 Lagrange 乘子存在的。

线性方程组求解与 Lagrange 乘子法

对于一般的线性方程组

Copy LaTeX

其中 $A\in \mathbb{R}^{m\times n},b\in \mathbb{R}^m$ 给定，待求解向量 $x \in \mathbb{R}^n$ ，可以分成几种情形：

线性方程组存在唯一解 $x_0$ ；若 $A$ 是可逆方阵，则
$Copy LaTeX$
线性方程组存在无穷多的解，此时可以要求给出最小范数的解 $x_0$ ；
$Copy LaTeX$
线性方程组无解，即为矛盾方程组，此时可以在最小二乘的意义下求解。
1. 若 $A$ 的列向量线性无关，那么可以要求唯一的最小二乘解 $x_0$ ；
  $Copy LaTeX$
2. 若 $A$ 的列向量线性相关，最小二乘解仍然不唯一，此时可以要求最小范数的最小二乘解 $x_0$ 。
  $Copy LaTeX$
可以通过 Moore–Penrose 广义逆给出（范数最小的）最小二乘解

最小二乘法

对于最小二乘法得到的解 $x_0$ ，必然满足法方程

Copy LaTeX

当 $A$ 列向量线性无关时， $A^\top A$ 对称正定，存在唯一的最小二乘解 $x_0$ 。

Copy LaTeX

最小二乘法实际上求解的是二次泛函 $\widetilde{J}_{ls}(x)$ 的极小值点

Copy LaTeX

或者记作 $J_{ls}(x)$

Copy LaTeX

对称正定问题——最速下降法

对于对称正定的方阵 $M$ ，求解

Copy LaTeX

显然方程组一定存在唯一解，并且问题等价于求解如下泛函 $\phi(x)$ 的极小值点

Copy LaTeX

最速下降和共轭梯度法等都是针对这个二次泛函 $\phi(x)$ 不断调整 $x$ ，移动到极小值点 $x_0$ 。

上述最小二乘的 $J_{ls}(x)$ 就是对于法方程

Copy LaTeX

得到的 $\phi(x)$ ，这里取 $M=A^\top A$ 、 $f=A^\top b$ 。当 $A$ 列满秩时，最小二乘法的求解可以化归为对称正定方程组的求解，当然也可以根据 QR 分解来处理。

限制子空间中的最小二乘法

取线性子空间 $\text{Ker}(C)$ 为限制空间， $C$ 为已知的矩阵

Copy LaTeX

显然有 $C$ 的列向量线性相关，否则 $\text{Ker}(C)=\{0\}$ ，问题是平凡的。我们还可以要求 $C$ 的行向量线性无关，通常 $C$ 的行数远小于列数。

在限制子空间 $\text{Ker}(C)$ 中求解最小二乘问题

Copy LaTeX

也就是求解法方程 $A^\top A x = A^\top b$ 对应的 $J_{ls}(x)$ 的极小值点。

Copy LaTeX

引入 Lagrange 乘子 $\Lambda$ ，得到

Copy LaTeX

对 Lagrange 函数 $L(x,\Lambda)$ 求导即

Copy LaTeX

整理即

Copy LaTeX

假设 $A$ 列满秩，即 $A^\top A$ 对称正定，此时最小二乘解唯一。Lagrange 乘子 $\Lambda$ 满足

Copy LaTeX

必然存在可逆的 $P$ ，使得 $P^\top P =A^\top A$ ，记 $Q=P^{-T} C^\top$

Copy LaTeX

由于 $C^\top$ 列满秩， $P$ 可逆，因此 $Q = P^{-T} C^\top$ 仍然是列满秩的， $Q^\top Q$ 对称正定，Lagrange 乘子 $\Lambda$ 是存在唯一的，扩充后的方程组

Copy LaTeX

存在唯一解 $(x,\Lambda)$ ，其中的 $x$ 即为限制子空间中的唯一最小二乘解。

限制子空间中的对称正定问题

同上，取线性子空间 $\text{Ker}(C)$ 为限制空间， $C$ 为已知的矩阵

Copy LaTeX

$C$ 的列向量线性相关， $C$ 的行向量线性无关，通常 $C$ 的行数远小于列数。

在限制子空间 $\text{Ker}(C)$ 中求如下二次泛函 $\phi(x)$ 的极小值，其中 $M$ 对称正定

Copy LaTeX

引入 Lagrange 乘子 $\Lambda$ ，得到

Copy LaTeX

对 Lagrange 函数 $L(x,\Lambda)$ 求导即

Copy LaTeX

整理即

Copy LaTeX

与前文一样的分析可知，扩充后的方程组存在唯一解 $(x_0,\Lambda_0)$ 。

虽然在全空间中上述问题等价于求解 $Mx=f$ ，并且显然存在唯一解 $x_1=M^{-1}f$ ，但是在限制子空间中这并不成立：

扩充后的方程组仍然存在唯一解 $(x_0,\Lambda_0)$ ；
得到的唯一解 $x_0$ ，对于 $Mx=f$ 通常不能严格成立，余量 $Mx-f = -C^\top \Lambda$ ；
若 $Mx-f$ 余量为零，等价于 $\Lambda=0$ ，几何意义就是 $x_1$ 恰好落在限制子空间 $Cx=0$ 中，此时 $(x_0,\Lambda_0)=(x_1,0)$

泛函与 Lagrange 乘子法

我们需要更抽象的数学工具得到更一般的 Lagrange 乘子法。

对于 Hilbert 空间 $H$ ， $J$ 是定义在 $H$ 上的一个下凸的 Frechet 可微的泛函 $J:H\to \mathbb{R}$ 。这里 Frechet 可微的含义为：对于 $\forall v \in H$ ，存在 $f_v \in H^*$ 使得下式成立：

Copy LaTeX

其中 $\langle f_v, w\rangle$ 表示有界线性泛函 $f_v \in H^*$ 作用到元素 $w \in H$ 上，余项的范数是关于 $\| w \|$ 的高阶无穷小。此时记作 $\nabla J(v) = f_v \in H^*$ ，视作 $J$ 在 $v$ 处的“导数”：

Copy LaTeX

等价性的命题

Lagrange 乘子法的核心思想就是把限制子空间的最优化问题转化为全空间的方程组求解问题，这个转化至少是必要的。从泛函的角度，我们也有相应的命题。

Proposition

对于定义在 $H$ 上的一个下凸的 Frechet 可微的泛函 $J$ ，设 $V$ 是闭线性子空间、 $u\in V$ ，并记其零化子为 ${}^{\perp}V=\{f\in H^*\mid \langle f,v\rangle=0,\ \forall v\in V\}$ 。在限制子空间 $V$ 的最优化问题等价于 “Frechet 导数” 落在 ${}^{\perp}V$ 内：

Copy LaTeX

Proof

如果在 $u_0$ 处取到最小值，则易知

Copy LaTeX

因此 $\nabla J(u_0) \in {}^{\perp}V$ 。反过来，利用下凸的性质，任取 $v \in V$ ， $0<t<1$ ，有

Copy LaTeX

因此 $J(u) \leqslant J(v)$ 取到最小值，命题得证。（如果 $J$ 可微但没有下凸性质，则右侧只是必要条件而非充分条件）

存在性的命题

对于更特殊的情形，我们可以把 $\nabla J(u) \in {}^{\perp}V$ 具体化，引入 Lagrange 乘子的存在性。

假设有另一个 Hilbert 空间 $M$ ，对于限制子空间 $V$ 我们取为一个有界线性算子 $T:H\to M^*$ 的 Kernel，即

Copy LaTeX

我们需要 $T$ 的共轭算子 $T^*:M \to H^*$ ，共轭算子根据定义即

Copy LaTeX

我们取 $T^*$ 的值域

Copy LaTeX

Proposition

${}^{\perp}V=\overline{\text{Im}(T^*)}$ （如果 $T^*$ 是闭值域算子，则闭包等于自身）

Proof

若 $u^* = T^* w \in \text{Im}(T^*)$ ，则有
$Copy LaTeX$
若 $u^* \in H^*$ 满足 $u^* \in {}^{\perp}\text{Ker}(T) \subset {}^{\perp}(\text{Im}(T^*)^\perp)$ ，根据 HBT 定理的推论可证明 $u^* \in \overline{\text{Im}(T^*)}$ 。（见张恭庆的泛函分析上册）

因此，对 $u\in\text{Ker}(T)$ ，等价性的命题就变成了

Copy LaTeX

如果 $T^*$ 是单射且具有闭值域，则存在更直接的结论，也就是 Lagrange 乘子的存在性命题：

Copy LaTeX

其中的 $w \in M$ 若存在则唯一， $w$ 就是我们需要的 Lagrange 乘子。

假设算子 $T^*$ 满足条件：存在 $C > 0$ 使得

Copy LaTeX

则我们可以据此推出 $T^*$ 是单射且具有闭值域，从而满足存在性命题的需要。这里要求的是值域闭，而非仅仅算子的图像闭。

小结

我们给出泛函语言下的 Lagrange 乘子法:

Proposition

对于两个 Hilbert 空间 $H,M$ ，设 $T: H \to M^*$ 为有界线性算子，其共轭算子 $T^*$ 满足上述有下界条件。设 $J$ 是定义在 $H$ 上的一个下凸的 Frechet 可微的泛函，考虑两个问题：

在限制子空间 $V=\text{Ker}(T)$ 求泛函 $J$ 的极小值点 $u$
$Copy LaTeX$
求解 $(u,w)\in H \times M$ 满足如下方程组
$Copy LaTeX$

两个问题等价。对每一个极小值点 $u_0$ ，存在唯一对应的 $w_0$ ，称为 Lagrange 乘子。上述条件本身不保证极小值点存在或唯一；若 $J$ 在 $\text{Ker}(T)$ 上强制且严格凸，则极小值点存在且唯一。如果 $J$ 没有下凸性，则问题 2 只是问题 1 的必要条件。

例子

我们用限制子空间的对称正定问题，来说明上述泛函语言下的 Lagrange 乘子法是经典的 Lagrange 乘子法的在齐次限制条件下的推广。

在有限维空间 $\mathbb{R}^n$ 中取一组单位正交的列向量 $\{a_1,\cdots,a_k\}(k < n)$ ，取限制子空间 $V$ 为它们的正交补

Copy LaTeX

记 $C=(a_1,\cdots, a_k)^\top \in \mathbb{R}^{k \times n}$ ，显然

Copy LaTeX

并且有

Copy LaTeX

（这里的正交只是为了理解更加直观，实际上要求线性无关即可）如果我们定义 $T:\mathbb{R}^n \to \mathbb{R}^k$

Copy LaTeX

那么 $V=\text{Ker}(C)=\text{Ker}(T)$ 。显然 $T$ 是有界线性算子， $T^*w=C^\top w$ 是单射且具有闭值域，满足前述条件。

接下来我们引入定义在 $\mathbb{R}^n$ 的泛函 $J$ ，其中矩阵 $M$ 对称正定

Copy LaTeX

容易验证它是下凸的，并且是可微的

Copy LaTeX

根据泛函语言下的 Lagrange 乘子法， $J(x)$ 在限制子空间的极小值问题转化为下列方程组的求解

Copy LaTeX

其中 $w \in \mathbb{R}^k$ 是引入的 Lagrange 乘子，记 $\Lambda = -w$ ，又得到了限制子空间中的对称正定线性方程组问题的扩充方程组

Copy LaTeX

Stokes 方程组

原始方程组

不可压缩蠕动流满足如下的方程组

Copy LaTeX

其中 $\Omega\subset\mathbb R^n$ 是有界、连通且边界光滑的区域， $f\in[L^2(\Omega)]^n$ 。为了后续的讨论，我们定义如下空间

Copy LaTeX

虚功原理

将 Stokes 方程组转化为如下的变分形式(物理上也称为虚功原理)： (A1) find $u \in Z$ s.t.

Copy LaTeX

根据空间的不同，也可以写成如下几种形式 (A2) find $u \in Z, p \in \widetilde{L}^2$ s.t.

Copy LaTeX

(A3) find $u \in V, p \in \widetilde{L}^2$ s.t.

Copy LaTeX

能量泛函极小化

Stokes 方程组也可以写成如下能量泛函的极小值问题：

(B) find $u \in Z$ s.t.

Copy LaTeX

等价性证明

本文不证明这两类形式和原始方程组的等价性，而是证明这两类变分形式之间的等价性。重点关注的是不含有压强的(A1)和(B)，和含有压强的(A2)(A3)之间：压强项如何消失，又如何产生。

(A2)=(A3)

(A2) 中的 $u\in Z$ 自动满足 (A3) 的不可压条件。反过来，(A3) 给出

Copy LaTeX

由于 $u\in[H_0^1(\Omega)]^n$ 的边界迹为零，有 $\int_\Omega\nabla\cdot u=0$ ，所以 $\nabla\cdot u\in\widetilde{L}^2$ 。取 $q=\nabla\cdot u$ ，得到 $\|\nabla\cdot u\|_{L^2}^2=0$ ，即 $u\in Z$ 。因此 (A2) 与 (A3) 等价。

(A1)=(B)

这两个形式都不含有压强项，相互的等价性证明也是容易的。

如果 $u\in Z$ 满足(A1)的方程

Copy LaTeX

则任取扰动 $v \in Z$ ， $t>0$ ，定义 $g(t)=J(u+t v)$ ，关于 $t$ 求导，注意到 $v \in Z$ 意味着 $\nabla \cdot v=0$

Copy LaTeX

从而 $u$ 至少是 $J$ 在 $Z$ 上的一个驻点。对于 $0\le t\le1$ ，容易验证 $J$ 是下凸的：

Copy LaTeX

因此 $J$ 在 $u$ 取到最小值。

反过来如果 $u \in Z$ 取到 $J$ 的最小值，也应该有

Copy LaTeX

因此(A1)与(B)等价。

(A2)=(B)

首先，(A2)=(A3)推出(A1)是显然的，因此(A2)可以推出(B)。反过来，从(B)推出(A2)就必然要引入压强，也就是压强作为 Lagrange 乘子被引入。 为了应用前文中的 Lagrange 乘子法，我们需要定义相关的算子，并验证它们满足需要的条件。

准备

取 Hilbert 空间 $H=V,M=\widetilde{L}^2$ ，定义泛函 $J: H \to \mathbb{R}$

Copy LaTeX

显然 $J(u)$ 是下凸的泛函，容易验证 $J$ 是可微的，并且明确一下 $\nabla J(u) \in H^*$ 的具体形式，取 $v \in H$ 满足 $\| v \| = 1$ ， $t \geqslant 0$ ，

Copy LaTeX

因此

Copy LaTeX

上述记号的含义为: $\nabla J(v)$ 作用到 $w\in H$ 上

Copy LaTeX

然后明确 $T:H=[H_0^1]^n \to M^*$ 和 $T^*: M=\widetilde{L}^2 \to H^*$ 的定义并验证它们的性质。定义 $T:H \to M^*$ ，对于 $v \in H$ ， $Tv \in M^*$ 满足

Copy LaTeX

显然我们需要的限制子空间 $Z=\text{Ker}\,T$ 。定义 $T^*:M\to H^*$ ，对于 $q\in M$ ， $T^* q \in H^*$ 满足

Copy LaTeX

这里 $q\in L^2$ 的梯度按分布导数理解，属于 $H^*=[H^{-1}(\Omega)]^n$ 。验证一下它们确实是共轭的，这里分部积分没有边界项，

Copy LaTeX

$T^*$ 需要满足的条件由零均值函数的负范数估计（等价于散度算子的 inf-sup 条件）给出：

Copy LaTeX

因此满足命题需要的所有条件。

应用 Lagrange 乘子法

基于前文的泛函中的 Lagrange 乘子法的命题，可知最优化问题

Copy LaTeX

等价于求 $u\in H$ 、 $p\in M$ ，使得

Copy LaTeX

其中 $Tu=0$ 即 $u\in Z$ ，是不可省略的可行性条件。对每个满足 (B) 的 $u$ ，对应的零均值乘子 $p$ 存在且唯一。

我们把 $T^* p = \nabla J(u) \in H^*$ 这个式子具体化：作用到测试函数 $v \in H$ ，得到

Copy LaTeX

因此有

Copy LaTeX

利用 Lagrange 乘子法相关的命题，并结合 $u\in Z$ ，我们从(B)推出了(A2)，从而也得到(A3)：

Copy LaTeX

得证(A1)、(A2)、(A3)和(B)都是等价的，并且明确了在 Stokes 方程组中 $p$ 确实是作为 Lagrange 乘子而存在。

References

Ożański WS. The Lagrange multiplier and the stationary Stokes equations. Journal of Applied Analysis. 2017;23(2):137–40. Article Google Scholar Back