依旧期末速通……

随机事件与概率

随机事件的关系与运算

概率及其性质

一般的，对于 $n$ 个事件 $A_i$，有

$$\begin{align*} P\left(\bigcup_{i=1}^{n} A_i \right) = \sum_{i=1}^{n} P(A_i) &- \sum_{1 \leqslant i < j \leqslant n} P(A_i A_j) \\ &+ \sum_{1 \leqslant i < j < k \leqslant n} P(A_i A_j A_k) - \cdots + (-1)^{n-1} P(A_1 A_2 \cdots A_n) \end{align*}$$

古典概型与几何概型

条件概率与乘法公式

条件概率

性质：

1. $P(\overline{B} |A) = 1 - P(B|A) $
2. $P(B_1 \cup B_2 | A) = P(B_1 | A) + P(B_2 | A) - P(B_1 B_2 | A) $

乘法公式

全概率公式

若 $A_1，A_2，\cdots A_n，B$ 是 $E$ 中的事件，且满足 $A_1 \cup A_2 \cup \cdots \cup A_n = \varOmega$，则

案例：敏感性问题调查

贝叶斯公式

事件的独立性

设 $n$ 个事件 $A_1，A_2，\cdots，A_n$，若对任意 $k=2，3，\cdots，n$ 和任意一组 $1 \leqslant i_1 < i_2 < \cdots < i_k \leqslant n$，都有

则称事件 $A_1，A_2，\cdots，A_n$ 相互独立.

随机变量及其分布

概率分布函数

设 $X$ 是随机变量，对任意给定实数 $x \in (-\infty, +\infty)$，令

则称 $F(x)$ 为随机变量 $X$ 的概率分布函数.

分布函数 $F(x)$ 具有以下性质：

1. 区间概率：$P\{x_1 < X \leqslant x_2\} = P\{X \leqslant x_2\} - P\{X \leqslant x_1\} = F(x_2) - F(x_1)$
2. 样本点概率：$P\{X = a\} = F(a+0) - F(a-0)$

离散型随机变量的分布

概率分布律

设离散型随机变量所有可能取值为 $x_k，k=1,2,\cdots$，则称 $X$ 取各个可能值的概率

为随机变量 $X$ 的概率分布律. 可用表格表示为

且有：$\displaystyle \sum_{i=0}^{\infty} p_k = 1$

常用分布

泊松定理

设 $\displaystyle p_n = \frac{\lambda}{n}$，$\lambda > 0$ 是常数，则对任一非负整数 $k$，有

根据泊松定理，当 $n$ 很大且 $p$ 很小时，二项分布可以近似为泊松分布，此时有 $\lambda = np$，且

$$\mathrm{C}_n^k p_n^k(1-p_n)^{n-k} = \frac{\lambda^k \mathrm{e}^{-\lambda}}{k!}$$

几何分布的无记忆性

如果 $X \sim G(p)$，则对任意正整数 $m$，$n$，都有

连续型随机变量的分布

概率密度函数

设随机变量 $X$ 的分布函数为 $F(x)$，若存在非负函数 $f(x)$，使得对任意实数 $x \in \textbf{R}$，均有

则称随机变量 $X$ 为连续型随机变量，称 $f(x)$ 为概率密度函数.

常用分布

指数分布的性质

无记忆性：如果 $X \sim Exp(\lambda)$，则对任意 $s>0$，$t>0$，都有

正态分布的性质

1. 正态分布的概率密度函数 $f(x)$ 以 $x=\mu$ 为对称轴，因此 $\displaystyle F(\mu) = \frac{1}{2}，F(\mu-x) = 1-F(\mu+x)$.

2. 特别地，称 $\mu=0，\sigma=1$ 的正态分布为标准正态分布，其概率密度函数记作 $\varphi(x)$，分布函数记作 $\varPhi(x)$. 则对任意正态分布 $N(\mu,\sigma^2)$，有

   $$P\{x_1 < X \leqslant x_2\} = F(x_2) - F(x_1) = \varPhi\left(\frac{x_2-\mu}{\sigma}\right) - \varPhi\left(\frac{x_1-\mu}{\sigma}\right) $$

3. 若 $X \sim N(\mu, \sigma^2)$，令 $Y=aX+b$，则随机变量 $Y \sim N(a\mu+b,(a\sigma)^2)$.

随机变量函数的分布

离散型随机变量函数的分布

若 $y_k = g(x_k)$，且已知

则可直接写出 $Y$ 的概率分布律：

连续型随机变量函数的分布

若 $X$ 是连续型随机变量，$y=g(x)$ 是单值实函数，则先求 $Y$ 的分布函数 $F_Y(y)$，再对 $F_Y(y)$ 求导得随机变量 $Y$ 的概率密度函数 $f_Y(y)$.

随机变量 $X$ 对应的概率密度函数为 $f(x)$，随机变量 $Y$ 满足 $Y = g(X)$，则可得

其中 $a$，$b$ 是关于 $y$ 的函数.

多维随机变量及其分布

联合分布函数与边缘分布函数

联合分布函数

设 $(X,Y)$ 是二维随机变量，对于任意实数 $x,y \in \textbf{R}$，称二元函数

为 $(X,Y)$ 的联合分布函数.

联合分布函数具有以下性质：

边缘分布函数

1. $X$ 的边缘分布函数 $\displaystyle F_X(x) = P\{X \leqslant x\} = F(x,+\infty) = \lim_{y \to +\infty} F(x,y)$
2. $Y$ 的边缘分布函数 $\displaystyle F_Y(x) = P\{Y \leqslant y\} = F(+\infty,y) = \lim_{x \to +\infty} F(x,y)$

二维随机变量的独立性

设 $(X,Y)$ 是二维随机变量，联合分布函数为 $F(x,y)$，边缘分布函数分别为 $F_X(x)，F_Y(y)$. 若对于任意 $(x,y) \in \textbf{R}^2$，都有

则称随机变量 $X$ 和 $Y$ 相互独立.

两个随机变量相互独立等价于由 $X$ 表示的任一事件与由 $Y$ 表示的任一事件都相互独立.

二维离散型随机变量及其分布

联合概率分布律

设二维离散型随机变量 $(X,Y)$ 的所有可能取值为 $(x_i,y_j)$，则称

为随机变量 $(X,Y)$ 的联合概率分布律，可用表格表示为：

边缘概率分布律

随机变量 $X$ 的边缘概率分布律：$\displaystyle P\{X=x_i\} = \sum_{i=1}^{+\infty} p_{ij} = p_{i \cdot}$

随机变量 $Y$ 的边缘概率分布律：$\displaystyle P\{Y=y_j\} = \sum_{j=1}^{+\infty} p_{ij} = p_{\cdot j}$

可以表示在表格中：

条件概率分布律

独立性

对于二元离散型随机变量 $(X,Y)$，则 $X$ 与 $Y$ 相互独立等价于对任意的 $i,j = 1,2,\cdots,$ 都有

二维连续型随机变量及其分布

联合概率密度函数

设二维随机变量 $(X,Y)$ 的联合分布函数为 $F(x,y)$，若存在非负实函数 $f(x,y)$，使得对于任意 $(x,y) \in \textbf{R}^2$，都有

则称 $(X,Y)$ 为二维连续型随机变量，并称 $f(x,y)$ 为 $(X,Y)$ 的联合概率密度函数.

联合概率密度函数具有以下性质：

1. 非负性：对任意 $(x,y) \in \textbf{R}^2$，有 $f(x,y) \geqslant 0$
2. 规范性：$\displaystyle F(x,y) = \int_{-\infty}^{+\infty} \mathrm{d}s \int_{-\infty}^{+\infty} f(s,t) \mathrm{d}t = 1$
3. 可导性：$\displaystyle \frac{\partial^2 F(x,y)}{\partial x \partial y} = f(x,y)$

边缘概率密度函数

对于二维连续型随机变量 $(X,Y)$，联合概率密度函数 $f(x,y)$，边缘概率密度函数分别为 $f_X(x)$ 和 $f_Y(y)$，则有

常用分布

二维均匀分布

设 $(X,Y)$ 是二维连续型随机变量，$G$ 是平面上一有界区域，且联合概率密度函数满足

其中 $S_G$ 表示区域 $G$ 的面积.

二维正态分布

设 $(X,Y)$ 是二维连续型随机变量，且联合概率密度函数满足

二维正态分布的性质

1. 二维正态分布的边缘分布仍是正态分布，反之未必成立.
2. 二维正态随机变量的条件分布仍是正态分布.
3. 二维随机变量 $(X,Y) \sim N(\mu_{1},\mu_{2}; \sigma_{1}^{2}, \sigma_{2}^{2}; \rho)$，则 $(X,Y)$ 相互独立的充要条件是 $\rho = 0$.

条件概率密度函数

设 $(X,Y)$ 为二维连续型随机变量，在条件 $Y=y$ 下，随机变量 $X$ 的条件分布函数为 $F_{X\ |\ Y} (x\ |\ y)$，条件概率密度函数为 $f_{X\ |\ Y} (x\ |\ y)$

随机变量的边缘密度函数只与该随机变量有关，而与另一个变量无关.

条件密度通常情况下与两个随机变量都有关系.

独立性

设 $(X,Y)$ 是二维连续型随机变量，联合概率密度函数为 $f(x,y)$，边缘密度函数分别为 $f_X(x)$ 和 $f_Y(y)$，则 $X$ 和 $Y$ 相互独立的等价于对任意的 $(x,y) \in \textbf{R}^2$，在平面上几乎处处成立

易知，连续型随机变量 $(X,Y)$ 相互独立还等价于

二维随机变量函数的分布

二维离散型随机变量函数的分布

设 $(X,Y)$ 为二维离散型随机变量，则由函数 $Z=g(X,Y)$ 确定的随机变量也是离散型随机变量.

求随机变量 $Z$ 的分布：

1. 确定 $Z$ 的所有可能值.
2. 逐个计算 $Z$ 取每个可能值的概率.

二维连续型随机变量函数的分布

常见的二维连续型随机变量函数

• $Z=X+Y$
  设 $(X,Y)$ 的联合概率密度函数为 $f(x,y)$，$(x,y) \in \textbf{R}^2$，边缘密度函数分别为 $f_X(x)$，$f_Y(y)$. 对任意实数 $z$，随机变量 $Z$ 的概率密度函数 $$f_Z(z) = \int_{-\infty}^{+\infty} f(x,z-x) \mathrm{d}x $$ $$f_Z(z) = \int_{-\infty}^{+\infty} f(z-y,y) \mathrm{d}y $$

称上述两式为 $X$ 与 $Y$ 的卷积公式，记作 $f_Z = f_X * f_Y$

• $M=\mathrm{max}\{X,Y\}$

  $$F_M(z) = P\{\mathrm{max}\{X,Y\} \leqslant z\} = P\{X \leqslant z, Y \leqslant z\} = F(z,z)$$

  若 $X$ 与 $Y$ 相互独立，则 $F_M(z) = F_X(z) F_Y(z)$

• $N=\mathrm{min}\{X,Y\}$

  $$F_N(z) = P\{\mathrm{min}\{X,Y\} \leqslant z\} = 1-P\{X>z, Y>z\}$$

  若 $X$ 与 $Y$ 相互独立，则 $F_M(z) = 1-[1-F_X(z)] \cdot [1-F_Y(z)]$

随机变量的数字特征

数学期望

随机变量的数学期望

随机变量函数的数学期望

• 设 $X$ 是随机变量，令 $Y=g(X)$

• 设 $(X,Y)$ 是二维随机变量，令 $Z=g(X,Y)$.

数学期望的性质

1. 设 $c$ 是常数，则 $E(c) = c$
2. 若 $a$，$b$ 是常数，则 $E(aX+b) = aE(X)+b$
3. $E(X+Y) = E(X)+E(Y)$
4. 设 $X$，$Y$ 相互独立，则 $E(XY) = E(X)E(Y)$

方差

方差的定义

设随机变量 $X$ 的数学期望 $E(X)$ 存在，若随机变量 $[X-E(X)]^2$ 的数学期望 $E[X-E(X)]^2$ 存在，则记随机变量 $X$ 的方差

方差的算术平方根记作标准差

将方差的定义式展开，可得：

基本性质

1. $D(c) = 0$
2. $D(aX+b) = a^2 D(X)$
3. 若随机变量 $X$ 与 $Y$ 独立，则 $D(X+Y) = D(X) + D(Y)$
4. $D(X) = 0$ 的充要条件是 $P\{X=c\} = 1$
5. 设实函数 $f(x) = E(X-x)^2$，即当 $x=E(X)$ 时，$f(x)$ 取最小值 $D(X)$，即 $D(X) \leqslant E(X-x)^2$

常用分布的数学期望与方差

协方差与相关系数

协方差

设 $(X,Y)$ 是二维随机变量，则称

为随机变量 $X$ 与 $Y$ 的协方差.

性质：

1. $\mathrm{Cov}(X,Y) = E(XY)-E(X)E(Y)$
2. $\mathrm{Cov}(X,X) = D(X)$
3. $\mathrm{Cov}(X,Y) = \mathrm{Cov}(Y,X)$
4. $\mathrm{Cov}(X+Y,Z) = \mathrm{Cov}(X,Z) + \mathrm{Cov}(Y,Z)$
5. $\mathrm{Cov}(aX+b,cY+d) = ac\mathrm{Cov}(X,Y)$
6. $D(X \pm Y) = D(X) + D(Y) \pm 2 \mathrm{Cov}(X,Y)$

相关系数

设 $(X,Y)$ 是二维随机变量，则称

为随机变量 $X$ 与 $Y$ 的相关系数.

性质：

1. $ | \rho_{X,Y} \leqslant 1 |$
2. $ | \rho_{X,Y} | = 1 $ 等价于 $X$ 与 $Y$ 以概率 $1$ 有线性关系

大数定律与中心极限定理

切比雪夫不等式

设随机变量 $X$ 具有数学期望 $E(X) = \mu$，方差 $D(X) = \sigma^2$，则对于任意正数 $\varepsilon$，有

大数定律

依概率收敛

设随机变量序列 $X_1, X_2 \cdots, X_n, \cdots$，若存在随机变量 $X$，使得对任意 $\varepsilon > 0$，恒有

则称序列 $X_1, X_2 \cdots, X_n, \cdots$ 依概率收敛于 $X$，记为 $X_n \xrightarrow{P} X$

大数定律

切比雪夫大数定律：设 $X_1, X_2 \cdots, X_n, \cdots$ 是一列两两不相关的随机变量序列，且方差有界（即存在常数 $C>0$，使得对于任意 $i$，都有 $D(X_i) \leqslant C$）. 令 $\displaystyle Y_n = \frac{1}{n} \sum_{i=1}^{n} X_i$，则有

伯努利大数定律：在 $n$ 重伯努利试验中，设在每次试验中事件 $A$ 发生的概率均为 $p(0<p<1)$，$\mu_n$ 为 $n$ 重伯努利试验中事件 $A$ 发生的次数，则

辛钦大数定律：设 $X_1, X_2 \cdots, X_n, \cdots$ 是独立同分布的随机变量序列，且数学期望存在，即 $E(X_i) = \mu (i = 1,2,\cdots,n,\cdots)$，则

中心极限定理

设随机变量序列 $X_1, X_2 \cdots, X_n, \cdots$ 独立同分布，且 $E(X_i) = \mu$，$D(X_i) = \sigma^2 > 0$，则随机变量

的分布函数 $F_n(x)$ 满足

该定理表明，当 $n \to \infty$ 时，随机变量 $Y_n$ 的分布将趋近于标准正态分布 $N(0,1)$. 即：当 $n$ 充分大时，独立同分布的 $n$ 个随机变量 $X_1, X_2 \cdots, X_n$ 之和 $\displaystyle S_n = \sum_{i=1}^{n} X_i$ 将近似地服从正态分布 $N(n\mu, n\sigma^2)$

设在独立重复试验序列中，事件 $A$ 发生的概率为 $p$，随机变量 $Y_n$ 表示事件 $A$ 在 $n$ 次试验中发生的次数，则对于任意实数 $x$，有

或者表示为：

数理统计的基本概念与抽样分布

基本概念

总体与样本

随机样本的要求

1. 独立性：$X_1,X_2,\cdots,X_n$ 是相互独立的随机变量；
2. 代表性：样本的每个个体 $X_i$ 与总体 $X$ 具有相同的分布.

经验分布函数

设 $(X_1,X_2,\cdots,X_n)$ 是从总体 $X$ 中抽取的容量为 $n$ 的样本，$(x_1,x_2,\cdots,x_n)$ 是样本的观测值，将样本观测值从小到大排列得到 $x_{(1)} \leqslant x_{(2)} \leqslant \cdots \leqslant x_{(n)}$，对任意实数 $x$，称

为总体 $X$ 的经验分布函数.

当样本容量 $n$ 足够大时，经验分布函数 $F_n(x)$ 是总体分布函数的一个良好近似.

统计量及其分布

统计量

统计中的常用分布

抽样分布定理

设 $(X_1,X_2,\cdots,X_n)$ 是来自正态总体 $X \sim N(\mu,\sigma^2)$ 的样本，样本均值为 $\displaystyle \overline{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$，样本方差为 $\displaystyle S^2=\frac{1}{n-1} \sum_{i=1}^{n} (X_i-\overline{X})^2$，则

1. $\displaystyle \overline{X} \sim N(\mu,\frac{\sigma^2}{n})$

2. $\displaystyle \frac{\sqrt{n}(\overline{X}-\mu)}{S} \sim t_{n-1}$

3. $\displaystyle \frac{(n-1)S^2}{\sigma^2} \sim \chi_{n-1}^2$

4. ${X}$ 与 $S^2$ 相互独立

抽样分布定理常用来构造一些已知分布的统计量.

参数估计

通过样本来估计总体的参数，称为参数估计.

参数的点估计

设总体 $X$ 的分布类型已知，但其中含有未知数 $\theta = (\theta_1, \cdots, \theta_k)$. 从样本出发构造适当的统计量 $\hat{\theta}_i = \hat{\theta}_i(X_1,X_2,\cdots,X_n)$ 作为参数 $\theta_i$ 的估计量，当取得样本观测值 $(x_1,x_2,\cdots,x_n)$ 后，就用 $\hat{\theta}_i = \hat{\theta}_i(x_1,x_2,\cdots,x_n)$ 作为未知参数 $\theta_i$ 的估计值.

矩估计法

设总体 $X$ 含有 $k$ 个未知参数 $\theta_1, \theta_2, \cdots, \theta_k$，且 $X$ 的 $m$ 阶原点矩 $\alpha_m = E(X^m)$ 存在，$m=1,2,\cdots,k$，，令

解这个方程组，其解都是样本的函数，记为

当总体含有两个未知参数时，通常我们使用

$$\left \{ \begin{array}{c} \begin{align*} & E(\theta_1, \cdots, \theta_k) = \overline{X} \\ \\ & D(\theta_1, \cdots, \theta_k) = \frac{(n-1)S^2}{n} \end{align*} \end{array} \right. $$

求出参数.

最大似然估计法

设总体 $X$ 的概率分布为 $f(x;\theta)$，$\theta = (\theta_1,\theta_2,\cdots,\theta_k)$ 为未知参数，$(X_1,X_2,\cdots,X_n)$ 是从该总体中抽取的样本，则它们的联合概率分布为

将其设作 $\theta$ 的函数 $L(\theta)$ 称其为 $\theta$ 的似然函数.

对给定的样本值 $(x_1,x_2,\cdots,x_n)$，若存在 $\hat{\theta}$ 使得

则称 $\hat{\theta}$ 是参数 $\theta$ 的最大似然估计值.

1. 若 $L(\hat{\theta})$ 不单调，则可取 $l(\theta) = \ln L(\theta)$，对 $l(\theta)$ 求导可得到最大值点 $\hat{\theta}$.
2. 若 $L(\hat{\theta})$ 单调递增，则 $\hat{\theta}$ 取端点处的值.

估计量的优良性准则

区间估计

基本概念

设 $\theta$ 为总体中的未知参数，$(X_1,X_2,\cdots,X_n)$ 是从总体中抽取的样本. 如果存在两个估计量 $\hat{\theta_1} = \hat{\theta}_1(X_1,X_2,\cdots,X_n)$ 和 $\hat{\theta}_2 = \hat{\theta_2}(X_1,X_2,\cdots,X_n)$，对于给定的 $\alpha (0<\alpha<1)$ 有

则称：

构造置信区间的一般步骤：

1. 构造样本 $(X_1,X_2,\cdots,X_n)$ 和待估参数 $\theta$ 的函数 $g(X_1,X_2,\cdots,X_n)$，要求除 $\theta$ 外，$g$ 不含任何其他未知参数，并且 $g$ 的分布完全已知（通常为标准正态分布、$\chi^2$ 分布、$t$ 分布、$F$ 分布等）且与 $\theta$ 无关；
2. 对于给定的置信度 $1-\alpha$，由关系式 $$P\{a < g(X_1,X_2,\cdots,X_n,\theta) < b\} \geqslant 1-\alpha$$ 确定适当的常数 $a$，$b$；
3. 上式等价于 $$P\{\hat{\theta}_1(X_1,X_2,\cdots,X_n) < g(X_1,X_2,\cdots,X_n,\theta) < \hat{\theta}_2(X_1,X_2,\cdots,X_n)\} \geqslant 1-\alpha$$ 于是 $(\theta_1,\theta_2)$ 就是 $\theta$ 的置信度至少为 $1-\alpha$ 的置信区间.

设 $X$ 是随机变量，$\alpha(0<\alpha<1)$ 是任意给定的正数，若存在 $x_{\alpha}$ 使得 $P\{X \geqslant x_{\alpha}\} = \alpha$，则称 $x_{\alpha}$ 为 $X$ （或它的概率分布）的 $\alpha$ 上侧分位数.

单个正态总体参数的置信区间

设总体 $X \sim N(\mu,\sigma^2)$，$(X_1,X_2,\cdots,X_n)$ 是取自总体 $X$ 的样本，对给定的置信度 $1-\alpha$，分别求参数 $\mu$ 和 $\sigma^2$ 的区间估计.

两个正态总体参数的置信区间

假设检验

假设检验是对总体的分布类型或分布类型中的未知参数提出假设，然后根据抽取的样本构造适当的统计量，对假设的真伪作出具有一定可靠性的判断.

基本概念

提出假设时，称：

一般步骤

1. 根据实际问题的需求，提出原假设 $H_0$ 和备择假设 $H_1$；
2. 根据 $H_0$ 内容，选取合适的检验统计量；
3. 对给定的显著性水平 $\alpha$，确定小概率事件（即拒绝域）$W$；
4. 判断：若样本观测值落入拒绝域 $W$，则拒绝原假设 $H_0$，否则不拒绝原假设 $H_0$.

两类错误

第一类错误：当原假设 $H_0$ 为真时，样本观测值却落在了拒绝域，犯了“弃真”的错误. 可知犯第一类错误的最大概率为

第二类错误：当原假设 $H_0$ 不真时，样本观测值却落在了接受域，犯了“采伪”的错误，记犯第二类错误的概率

注意：

1. 对检验结果来说，拒绝 $H_0$ 是有说服力的，接受 $H_0$ 是没有说服力的.
2. 原假设 $H_0$ 和备择假设 $H_1$ 不是平等的.
3. 在提出假设时，应当尽量使后果更严重的错误成为第一类错误.

正态总体的假设检验

单个正态总体

两个正态总体