高等数学视角下的概率论

从测度论和泛函分析的视角，对概率论中的主要概念作一个简要整理。

概率空间

给定非空集合 $\Omega$ ，在其上定义一个 $\sigma$ -代数 $\mathcal F$ ，再给定概率测度

Copy LaTeX

满足 $P(\Omega)=1$ ，则三元组 $(\Omega,\mathcal F,P)$ 称为一个概率空间。其中：

$\Omega$ 称为样本空间，其中的元素 $\omega\in\Omega$ 称为样本；
$\mathcal F$ 中的元素称为事件；
$P$ 称为概率测度。

对于事件 $A\in\mathcal F$ ，其概率就是测度 $P(A)$ 。若记 $A$ 的示性函数为 $\mathbf 1_A$ ，这显然是一个可测函数，那么

Copy LaTeX

这里尤其需要注意：概率赋予事件，只能对可测集讨论概率。若单点集 $\{\omega\}$ 可测，也可以讨论这个单点事件的概率。对于离散集合 $\Omega$ ，通常取 $\mathcal F=2^{\Omega}$ 。若在有界、Lebesgue 测度大于零的可测区域 $\Omega\subset\mathbb R^d$ 上考虑均匀分布，可以取 $P(A)=\lambda(A)/\lambda(\Omega)$ ，其中 $A$ 为 $\Omega$ 中的 Lebesgue 可测集。这只是概率测度的一种选择；样本空间本身并不决定概率测度，例如 $[0,1]$ 上也可以取点质量 $\delta_{1/2}$ 。

Remark

从测度论的观点看，概率空间不过是一个总测度为 $1$ 的有限测度空间。

随机变量

给定概率空间 $(\Omega,\mathcal F,P)$ ，称可测函数

Copy LaTeX

为一个实值随机变量，其中 $\mathcal B(\mathbb R)$ 为 $\mathbb R$ 上的 Borel $\sigma$ -代数。可测性保证对任意 Borel 集 $R \in \mathcal B(\mathbb R)$

Copy LaTeX

都是事件，可以讨论其概率。

对于事件 $A\in\mathcal F$ ，其示性函数 $\mathbf 1_A$ 就是一个随机变量，满足

Copy LaTeX

分布测度

随机变量 $X$ 将概率测度 $P$ 推前到实数轴上，得到概率测度 $\mu_X=X_\#P$ ，即

Copy LaTeX

称 $\mu_X$ 为随机变量 $X$ 的分布测度。因此， $X\sim\mu$ 实际上表示 $X_\#P=\mu$ 。

Remark

概率论中许多问题并不依赖随机变量背后的样本空间，而只依赖其分布测度。

随机变量的分类

随机变量的分布性质由其分布测度 $\mu_X=X_\#P$ 决定，可以用概率测度的分类对随机变量进行分类。

根据 Lebesgue 分解定理，任意 $\mathbb R$ 上的概率测度 $\mu_X$ 可以唯一分解为

Copy LaTeX

其中

Copy LaTeX

分别称为绝对连续部分和奇异部分（ $\lambda$ 为 Lebesgue 测度）。奇异部分还可以进一步根据是否存在原子分解为纯点部分和奇异连续部分。

Copy LaTeX

其中纯点部分称为纯点测度，形如

Copy LaTeX

奇异连续部分称为奇异连续测度，满足 $\mu_{sc}\perp\lambda$ 以及

Copy LaTeX

也就是说，它既没有原子，也不存在 Lebesgue 密度，经典的例子为 Cantor 分布。

由此自然导出在概率论中对随机变量的分类：

称为绝对连续型随机变量，如果概率测度只有绝对连续部分；（此时由 Radon–Nikodym 定理保证可以定义概率密度函数）
称为离散型随机变量，如果概率测度只有纯点部分。

从测度的分类角度看，还有很多其他情况，但是我们通常只关注这两种典型的情况。

Remark

“连续型随机变量”这个词在不同的概率教材中有歧义：有些教材将其定义为“无原子”；有些教程将其定义为“绝对连续”。

分布的常用表示

随机变量 $X$ 的分布本质是概率测度 $\mu_X$ ，但实际计算中通常采用不同方式描述它。

累积分布函数（CDF）：定义函数 $F_X: \mathbb{R} \to [0,1]$
$Copy LaTeX$
称其为随机变量 $X$ 的累积分布函数。显然， $F_X$ 单调不减并且右连续，极限 $F_X(-\infty)=0$ ， $F_X(+\infty)=1$ 。
概率密度函数（PDF）/ 概率质量函数（PMF）：
1. 对于绝对连续型随机变量，由 Radon–Nikodym 定理可知，存在非负函数 $f_X$ ，使得
  $Copy LaTeX$
  称 $f_X$ 为随机变量 $X$ 的概率密度函数（PDF）。此时有
  $Copy LaTeX$
2. 对于离散型随机变量，即存在有限或可数集合 $S\subset\mathbb R$ 使 $P(X\in S)=1$ ，可定义概率质量函数（PMF）
  $Copy LaTeX$
  此时分布测度可以表示为
  $Copy LaTeX$
  其中 $\delta_x$ 为 Dirac 测度。事件 $X^{-1}(R) = \{\omega \mid X(\omega)\in R\}$ 的概率为
  $Copy LaTeX$

Remark

从测度论的观点看，PMF 和 PDF 都可以理解为分布测度相对于某个参考测度的 Radon–Nikodym 导数：离散情形对应承载全部概率质量的可数集合 $S$ 上的计数测度，绝对连续情形对应 Lebesgue 测度。这里 $P(X\in S)=1$ 并不要求 $X$ 在每个样本点都取值于 $S$ ；零概率集上的取值不影响分布。

对于绝对连续型随机变量，累积分布函数和概率密度函数存在联系：

Copy LaTeX

此时 $F_X$ 绝对连续，并且

Copy LaTeX

几乎处处成立。

数学期望

由前文可知，随机变量 $X$ 就是可测函数，进一步讨论，如果 $X$ 还是可积函数

Copy LaTeX

可以定义其数学期望为积分值

Copy LaTeX

若 $X$ 为离散型随机变量，则可以进一步写成

Copy LaTeX

更一般地，对于合适的函数 $\varphi$ ，定义 $\varphi(X)$ 的数学期望为

Copy LaTeX

Remark

从泛函分析角度，数学期望其实就是一个正的有界线性泛函 $\mathbb E:L^1(\Omega)\to\mathbb R$ 。

有了数学期望之后，就可以自然地定义矩、方差与协方差了，这里直接略去。

分布的生成函数与变换

除了 CDF、PMF 和 PDF 之外，还常通过一些积分变换来描述随机变量的分布。

概率生成函数（PGF）：对于非负整数值随机变量 $X\in\{0,1,2,\ldots\}$ ，在 $|z|\le 1$ 上定义
$Copy LaTeX$
称其为 $X$ 的概率生成函数。该级数在 $|z|\le 1$ 上绝对收敛；能否延拓到更大的收敛区域取决于分布。
矩母函数（MGF）：在期望有限的实数 $t$ 上定义
$Copy LaTeX$
其中 $M_X(0)=1$ 总是成立，但并非所有随机变量的矩母函数都在 $0$ 的某个邻域内有限。
特征函数（CF）：定义函数 $\varphi_X: \mathbb R \to \mathbb C$ 满足
$Copy LaTeX$
由于 $|e^{itX}|=1$ ，特征函数对任意随机变量都存在，并且 $|\varphi_X(t)|\le1$ 。这实际上就是概率测度 $\mu_X$ 的 Fourier–Stieltjes 变换。

PGF、MGF 和 CF 都可以看成对分布测度作某种积分变换。它们特别适合处理独立随机变量之和，是因为卷积在这些变换下会变成乘法。例如若 $X,Y$ 独立，则

Copy LaTeX

相应的 PGF 和 MGF 也有同样的乘法性质。

联合分布与独立性

给定随机变量 $X,Y$ ，可以考虑随机向量

Copy LaTeX

其推前测度 $\mu_{X,Y} = (X,Y)_\#P$ 称为 $X,Y$ 的联合分布，相应地， $\mu_X$ 与 $\mu_Y$ 称为边缘分布。

称随机变量 $X,Y$ 独立，如果满足

Copy LaTeX

这个要求可以更具体地翻译为：对所有 Borel 集 $R_1,R_2 \in\mathcal B(\mathbb R)$ 都有

Copy LaTeX

Remark

从测度论角度看，独立性的本质是联合分布可以分解为边缘分布的乘积测度。

条件期望与条件概率

设 $\mathcal G\subset\mathcal F$ 是概率空间 $(\Omega,\mathcal F,P)$ 上的一个子 $\sigma$ -代数。由于 $\mathcal G\subset\mathcal F$ ，由 $\mathcal G$ 中的事件只能描述比 $\mathcal F$ 更少的信息。

对于随机变量 $X\in L^1(\Omega,\mathcal F,P)$ ，称随机变量

Copy LaTeX

为 $X$ 关于 $\mathcal G$ 的条件期望，如果它可积并满足：

$\mathbb E[X\mid\mathcal G]$ 是 $\mathcal G$ -可测的，即对于任意 $R\in\mathcal B(\mathbb R)$ ，都有
$Copy LaTeX$
对任意 $B\in\mathcal G$ ，都有
$Copy LaTeX$

Remark

定义中的第一条表示 $\mathbb E[X\mid\mathcal G]$ 只能利用信息 $\mathcal G$ 。第二条表示：虽然 $\mathbb E[X\mid\mathcal G]$ 丢失了一部分信息，但在所有 $\mathcal G$ 中可以观察到的事件上，它与原随机变量 $X$ 保持相同的平均值。

条件期望存在，并且只在 $P$ -几乎处处相等的意义下唯一。满足定义的具体随机变量称为条件期望的一个版本；下文涉及条件期望的随机变量等式均按几乎处处相等理解。

Remark

若 $X\in L^2(\Omega,\mathcal F,P)$ , 由于

Copy LaTeX

是闭子空间，此时条件期望具有 Hilbert 空间中的几何解释：

Copy LaTeX

即条件期望就是 $X$ 在较小信息空间上的正交投影。这里 $L^2$ 的元素是几乎处处相等的函数组成的等价类，因此投影的唯一性也是在这个意义下成立。

Remark

关于 $\mathcal G$ -可测函数的理解： $\mathcal F$ -可测要求

Copy LaTeX

而 $\mathcal G$ -可测要求更强

Copy LaTeX

也就是说，函数 $X$ 的所有可观察事件甚至只属于较小的 $\sigma$ -代数 $\mathcal G$ 。因此：

Copy LaTeX 可测 该随机变量只依赖于 中的信息

例如，若 $\mathcal G=\sigma(B)$ 由一个事件 $B$ 生成，则

Copy LaTeX

此时信息只能区分 $B$ 是否发生，任意 $\sigma(B)$ -可测随机变量只能在 $B$ 和 $B^c$ 上分别取常数，即具有形式：

Copy LaTeX

其中 $c_1,c_2$ 为固定常数。

条件概率是条件期望作用于示性函数的特殊情形：对于事件 $A\in\mathcal F$ ，其示性函数 $\mathbf1_A$ 是一个随机变量，定义

Copy LaTeX

这是一个 $\mathcal G$ -可测随机变量。由定义可知

Copy LaTeX

设 $B\in\mathcal F$ 满足 $P(B) > 0$ 。取 $\mathcal G=\sigma(B)$ ，这表示我们只知道事件 $B$ 是否发生。 $P(A\mid\sigma(B))$ 是 $\sigma(B)$ -可测随机变量，可以表示为

Copy LaTeX

由条件概率定义可得

Copy LaTeX

代入可得

Copy LaTeX

若 $P(B^c)>0$ ，同理有 $c_2=P(A\cap B^c)/P(B^c)$ ；若 $P(B)=1$ ，则 $c_2$ 可以任取，因为它只影响零概率集 $B^c$ 上的值。

这个在事件 $B$ 上的常数值其实就对应传统意义下的条件概率公式

Copy LaTeX

随机变量列的收敛

概率论中存在若干不同的收敛概念，实际上也可以用测度论的语言进行翻译，考虑随机变量序列 $\{X_n\}$ 和 $X$ ，那么

几乎必然收敛—几乎处处收敛；
依概率收敛—依测度收敛；
依分布收敛—概率测度的弱收敛。