《随机过程》课程总复习

这是我在《随机过程 B》课程总复习期间整理的笔记

前置知识

先需要列举一些对于该课程可能有用的一些知识：

一些常用的积分

这些积分必须要牢记：

\[ \begin{gather*} \int_{0}^{\infty} e^{-(a + bj)x} \, \mathrm d x = \frac{1}{a + bj} = \frac{a}{a^2 + b^2} - j \frac{b}{a^2 + b^2} \\ \implies \int_{0}^{\infty} e^{-ax} \cos(bx) \, \mathrm d x = \frac{a}{a^2 + b^2} \quad, \quad \int_{0}^{\infty} e^{-ax} \sin(bx) \, \mathrm d x = \frac{b}{a^2 + b^2} \end{gather*} \]

留数与积分计算

留数定理：

\[ \int_{\partial D} f(z)\, \mathrm d z = 2\pi j \sum_{k=1}^n \operatorname{Res}(f, z_k) \]

有限点处留数的计算：

\[ \begin{gather*} \operatorname{Res}(f, a) = \frac{1}{(m-1)!} \lim_{z \to a} [(z-a)^m f(z)]^{(m-1)} \\ m = 1 \implies \operatorname{Res}(f, a) = \lim_{z \to a} (z - a) f(z) \end{gather*} \]

结合复变函数中的一些引理（特别是 Jordan 引理）可以构造一些围道（比如半圆）计算一些实数轴上的积分。

Poisson 过程

定义：初始为 0，满足独立增量的过程，满足：

\[ P\{N(s+t)-N(s)=k\} = e^{-\lambda t}\frac{(\lambda t)^k}{k!} \]

Poisson 过程还可以用一些其他的视角来看待，也需要掌握：

联合密度的视角，给定 \(N(t)=n\)，则等待时间 \(W_1, W_2, \cdots, W_n\) 的联合密度为：

\[ f_{W_1, W_2, \ldots, W_n}(w_1, w_2, \ldots, w_n) = \frac{n!}{t^n},\quad 0 < w_1 < w_2 < \cdots < w_n < t \]

间隔时间的视角，记第 \(n-1\) 与 \(n\) 次事件的间隔时间为 \(X_n\)，第 \(n\) 次事件的发生事件为 \(W_n=\sum_{i=1}^nX_i\)：

\[ \begin{gathered} X_n \sim \operatorname{Exp}(\lambda), \quad W_n \sim \Gamma(n,\lambda) \\ \end{gathered} \]

Markov 过程

离散时间 Markov 链

核心：Markov 性（第 \(t+s\) 时刻只与 \(s\) 时刻相关）

离散时间 Markov 链一般用转移概率矩阵 \(P = (p_{ij})_{nn}\) 来表示，表示从 \(i\) 到 \(j\) 的概率，每一行对应一个状态，行和为 \(1\)。

单个状态（比如初始状态 \(\pi\) 是）行向量

Chapman-Kolmogorov 方程：

\[ P^{(n+m)}_{ij} = \sum_{k=0}^\infty P_{ik}^{(m)}P_{kj}^{(n)} \]

另外，随着我们讨论的深入，我们需要引入一些概念：

周期 \(d(i)\)：所有满足 \(P^{(n)}_{ii} > 0\) 的 \(n\) 的最大公约数，如果不存在这样的 \(n\ge1\) 则认为周期为 \(\infty\)；\(d(i)=1\) 称为非周期；
正则：存在 \(n\) 使得 \(P^n\) 的元素全部非零；
\(f^{(n)}_{ij}=P\{X_n=j,X_k\ne j,k=1,2,\cdots,n-1|X_0=i\}\)：从。\(i\) 出发在 \(n\) 步转移首次到达 \(j\) 的概率；\(f_{ij} = \sum_{n=1}^{\infty} f^{(n)}_{ij}\)，即会到达 \(j\) 的概率；
常返 \(\Leftrightarrow~f_{ii}=1\)；瞬过 \(\Leftrightarrow~f_{ii}< 1\)；
常返时 \(T_i\)：首次返回 \(i\) 的时刻，\(\mu_i = ET_i=\sum_{n=1}^\infty n f_{ii}^{(n)}\)；根据常返时可以将状态分为零常返 \(\mu_i=\infty\) 和正常返 \(\mu_i < \infty\)；
正常返，非周期称为遍历 (ergodic)；遍历性的直观理解是指经过足够长的时间，单条轨迹可以反映整个系统的性质；

周期性、常返性是一种等价类共有的性质

基本极限定理：

\(i\) 是瞬过或零常返：\(\lim_{n\to\infty} P_{ii}^{(n)} = 0\)；
\(i\) 是周期为 \(d\) 的常返状态：\(\lim_{n\to\infty}P_{ii}^{(nd)}= \frac{d}{\mu_i}\);
\(i\) 是非周期的正常返状态：\(\lim_{n\to\infty} P^{(n)}_{ii} = \frac1{\mu_i}\)

平稳分布（定义为不动点）定理：对于不可约、遍历的 Markov 链，其平稳分布是唯一的、且就是极限分布

分支过程

使用生成函数 \(\phi(s)\) 来研究：

\[ \phi(s) = \sum_{k=0}^{\infty} p_k s^k, \quad \phi_{n+1}(s) = \phi_n(\phi(s) \]

则：

群体消亡概率是 \(\pi=\phi(\pi)\) 的最小正解；
\(\mu=EZ_1\le 1\Leftrightarrow \pi=1\)

连续时间 Markov 链

定义：随机过程 \(\{X(t), t \ge 0\}\)，满足：

\[ \begin{aligned} & P\left\{X(t+s) = j\mid X(s)=i,X(x)=X(u),0\le u < s\right\} \\ &\qquad \qquad ~~~~\, = P\{X(t+s)=j\mid X(s)=i\} \end{aligned} \]

平稳过程

严平稳过程：

\[ \begin{gathered} X=\{X(t),t\in T\} \\ \forall k,~\forall t_1<t_2<\cdots<t_n,~t_1,t_2,\cdots,t_n\in T,~\forall h \\ \text{s.t.}~\{X(t_1),X(t_2),\cdots,X(t_k)\}\overset{d}{=}\{X(t_1+h),X(t_2+h),\cdots,X(t_n+h)\} \end{gathered} \]

宽平稳过程：均值为常数，二阶矩存在且协方差仅与时间差有关

对于宽平稳过程我们常研究其均值遍历性，对于 \(X= \{X(t),-\infty<t<\infty\}\)：

\[ \begin{gathered} \bar{X} = \lim_{T\to \infty} \frac{1}{2T} \int_{-T}^{T} X(t)\,\mathrm d t\overset{L_2}{=}m \\ \bar{X} = \lim_{N\to \infty} \frac{1}{2N+1}\sum_{k=-N}^NX(k)\overset{L_2}{=}m \end{gathered} \]

均值遍历性定理：

对于平稳序列 \(X=\{X_n,n=0,\pm 1,\cdots\}\)，则 \(X\) 有遍历性的充要条件为 \(\lim_{N\to\infty}\frac1N\sum_{\tau=0}^{N-1}R(\tau)=0\)；
对于平稳过程 \(X=\{X(t),-\infty<t<\infty\}\)，\(X\) 有遍历性的充要条件为 \(\lim_{t\to\infty}\frac1T\int_{0}^{2T}(1-\frac{\tau}{2T})R(\tau)\,\mathrm d\tau=0\)；

功率谱密度

我们常用协方差函数和功率谱密度来研究一个平稳过程，Wiener-Khintchine 公式连接着它们两者：

\[ R(\tau) \xleftrightarrow{\text{FFT}} S(\omega) \]

对平稳序列，FFT 应换为 DTFT。由于 \(R(\tau)\) 和 \(S(\omega)\) 都是偶函数，Wiener-Khintchine 一般写成余弦变换的形式（注意正交基发生了变化）。

留数定理对该题非常有用，需要牢记。

有理谱密度应该符合以下两个条件：

实、偶函数；
分母不能有实根；
分母多项式次数至少应比分子高 \(2\) 次；

Brown 运动

定义：\(\{X(t), t \geq 0\}\) 是一个 Brown 运动，如果满足以下条件：

\(X(0) = 0\)；
\(X\) 有平稳独立增量；
\(\forall t > 0\)，\(X(t)\sim N(0, c^2t)\)（\(c=1\) 时称为标准 Brown 运动）。

记：

\[ f_t(x) = \frac{1}{\sqrt{2\pi t}} e^{-\frac{x^2}{2 t}} \]

则 \(\forall 0<t_1<t_2<\cdots<t_n\)，\((X(t_1), X(t_2), \cdots, X(t_n))\) 的联合概率密度函数为：

\[ f_{t_1, t_2, \ldots, t_n}(x_1, x_2, \ldots, x_n) = f_{t_1}(x_1) \prod_{i=2}^n f_{t_i - t_{i-1}}(x_i - x_{i-1}) \]

推论（协方差函数）：

\[ \begin{aligned} \operatorname{Cov}(X(s), X(t)) &= \operatorname{Cov}(X(s), X(s) + (X(t) - X(s))) \\ &= \operatorname{Cov}(X(s), X(s)) + \operatorname{Cov}(X(s), X(t) - X(s))) \\ &= s + 0 = s \\ \implies \operatorname{Cov}(X(s), X(t)) & = \min(s, t) \end{aligned} \]