Created Date: 2020-05-19 15:32:33
Last Upgraded Date: 2020-05-19 23:56:36
概率论的基本概念
随机试验、样本空间和随机事件
随机试验
- 可以在相同条件下重复地进行；
- 每次试验的可能结果不止一个，并且能事先明确试验的所有可能结果；
- 进行一次试验之前不能确定哪一个结果会发生。
样本空间
随机试验E的所有可能结果组成的集合，记为S。
样本点
样本空间的元素，即随机试验E的每个结果。
随机事件
随机试验E的样本空间S的任一子集，简称事件。
在每次试验中，当且仅当这一子集中的一个样本点出现时，称该事件发生。
由一个样本点组成的单点集成为基本事件。
样本空间S包含所有的样本点，它是S自身的子集，在每次试验中它总是发生的，S称为必然事件。
空集∅是样板空间的子集，它在每次试验中都不发生，称为不可能事件。
事件关系与运算
事件A与B是互不相容的，或互斥的：
$$
A\cap B = \varnothing
$$事件A、B互为逆事件，或对立事件：
$$
A\cup B = S 且 A\cap B=\varnothing
$$差事件可用对立事件表示：
$$
A-B=A\overline{B}
$$$$
\overline{A}=S-A
$$
事件运算律
交换律：
$$
A\cup B=B\cup A
$$$$
A\cap B=B\cap A
$$结合律：
$$
A\cup(B\cup C)=(A\cup B)\cup C
$$$$
A\cap(B\cap C)=(A\cap B)\cap C
$$分配率：
$$
A\cup(B\cap C)=(A\cup B)\cap(A\cup C)
$$$$
A\cap(B\cup C)=(A\cap B)\cup(A\cap C)
$$德摩根律：
$$
\overline{A\cup B}=\overline{A}\cap \overline{B}
$$$$
\overline{A\cap B}=\overline{A}\cup \overline{B}
$$
区分互逆事件和互斥事件：
$$
A与B互斥\Leftrightarrow AB=\varnothing
$$$$
A与B互逆\Leftrightarrow AB=\varnothing 且 A\cup B=S
$$
频率、概率与等可能概形（古典概形）
频率、频数
n次试验，A事件发生$n_A$次。
$0\le f_n(A)\le1$。
$f_n(S)=1$。
若$A_1,A_2,\dots，A_k$是两两互不相容的事件，\则$f_n(A_1\cup A_2 \cup \dots \cup A_k)=f_n(A_1)+f_n(A_2)+\dots+f_n(A_k)$。
频率的稳定性：当重复试验的次数n逐渐增大时，频率$f_n(A)$呈现出稳定性，逐渐稳定于某个常数。
概率的公理化定义（柯尔莫格洛夫【1993年】）
设E是随机试验，S是它的样本空间。对于E的每个事件A赋予一个实数，记为$P(A)$，如果集合函数P(·)满足下列条件：
- 非负性：对于每个事件A，有$P(A)\ge 0$；
- 规范性：对于必然事件S，有$P(S)=1$；
- 可列可加性：设$A_1,A_2,\dots$是两两互不相容的事件，即对于$A_iA_j=\varnothing$，$i\ne j$，$i,j=1,2,\dots$，有$P(A_1\cup A_2\cup \dots)=P(A_1)+P(A_2)+\dots$，则称P(A)为事件A概率。
概率的性质
$P(\varnothing)=0 \Rightarrow$有限可加性：设$A_1,A_2,\dots,A_n$是两两互不相容的事件，则有$P(A_1\cup A_2\cup \dots \cup A_n)=P(A_1)+P(A_2)+\dots+P(A_n)$。
设事件$A\subset B$，则$P(B-A)=P(B)-P(A)$，$P(B)\ge P(A)$。
对于任一事件A，$P(A)\le 1$，且$P(\overline{A})=1-P(A)$。
加法公式：$P(A\cup B)=P(A)+P(B)-P(AB)$，对$\forall $事件$A,B$$。
对$\forall n$个事件$A_1,A_2,\dots,A_n$，可归纳证明$P(A_1\cup A_2\cup \dots \cup A_n)$为$\sum_{i=1}P(A_i)-\sum_{1\le i < j \le n}P(A_iA_j)+\dots + (-1)^{n-1}P(A_1A_2\dots A_n)$。
等可能概型
$$
P(A)=\frac{A包含的基本事件数}{样本空间S中基本事件的总数}
$$
排列与组合公式推导的两条计数原理
- 乘法原理
- 加法原理
- 排列公式
- 组合公式
- 重复排列
合适的样本空间
事件的运算法则和概率的性质
条件概率和独立性
条件概率
$$
P(B|A)=\dfrac{P(AB)}{P(A)}
$$
事件A（$P(A) > 0$）发生的条件下，事件B的条件概率。
满足概率的公理化定义
- 非负性：对于任一事件B，有$P(B|A)\ge 0$；
- 规范性：对于必然事件S，有$P(S|A)=1$；
- 可列可加性：设$B_1,B_2,\dots$是两两互不相容的事件，则有$P(\bigcup^\infty_{i=1} B_i|A)=\Sigma^\infty_{i=1}P(B_i|A)$。
条件概率的性质
设事件A的概率$P(A) > 0$，则$P(\varnothing|A)=0$，以及
有限可加性：对任意两两互不相容的事件$B_1,B_2,\dots , B_n$，有
$$
P[(B_1\cup B_2\cup \dots \cup B_n)|A]=P(B_1|A)+P(B_2|A)+\dots+P(B_n|A)。
$$若$B\subset C$，则有$P[(C-B)|A]=P(C|A)-P(B|A)$。由条件概率的非负性，可知$P(C|A)\ge P(B|A)$。
对于任意的事件B，有$P(B|A)+P(\overline{B}|A)=1$。
加法公式：对于任意两个事件B和C，有
$$
P[(B\cup C)|A]=P(B|A)+P(C|A)-P(BC|A)。
$$对$\forall n$个事件$B_1,B_2,\dots , B_n$，$P[(B_1\cup B_2\cup \dots \cup B_n)|A]$等于
$$
\sum_{i=1}^nP(B_i|A)-\sum_{1\le i < j\le n}P(B_iB_j|A)+\sum_{1\le i<j<k\le n}P(B_iB_jB_k|A)+\dots+(-1)^{n-1}P(B_1B_2\dots B_n|A)。
$$
乘法定理
- 设$P(A) > 0$，则有$P(AB)=P(B|A)P(A)$。
- 若$P(AB) > 0$，则有$P(ABC)=P(C|AB)P(B|A)P(A)$。
一般地，设n个事件$A_1,A_2,\dots ,A_n$满足$P(A_1A_2\dots A_{n-1} > 0)$，则
$$
P(A_1A_2\dots A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1A_2)\dots P(A_n|A_1A_2\dots A_{n-1})。
$$
样本空间的划分
全概率公式
设试验E的样本空间为S，$B_1,B_2,\dots , B_n$为S的一个划分，且$P(B_i) > 0(i = 1,2,\dots , n)$，则对任意事件A，有
$$
P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+\dots+P(A|B_n)P(B_n)。
$$
贝叶斯公式
设试验E的样本空间为S，$B_1,B_2,\dots , B_n$为S的一个划分，且$P(B_i) > 0(i = 1,2,\dots , n)$，若事件A的概率$P(A) > 0$，则
$$
P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum_{j=1}^nP(A|B_j)P(B_j)},i=1,2,\dots,n。
$$
两个事件相互独立
$$
A和B相互独立\Leftrightarrow P(AB)=P(A)P(B)
$$
两事件其中一个已发生，不影响另一个发生的概率。
事情独立性的两个定理
设$A,B$是两事件，且$P(A) > 0$，则
$$
A和B相互独立\Leftrightarrow P(B|A)=P(B)
$$若事件$A$与$B$相互独立，则$A$与$\overline{B}$，$\overline{A}$与$B$和$\overline{A}$与$\overline{B}$都相互成立。
任意n个事件相互独立（$n\ge 3$）
事件A，B，C相互独立
$$
\Leftrightarrow \left{
\begin{array}{lr}
P(AB)=P(A)P(B)\
P(BC)=P(B)P(C)\
P(AC)=P(A)P(C)\
P(ABC)=P(A)P(B)P(C)
\end{array}
\right.
$$
若事件$A_1,A_2,\dots ,A_n(n \ge 2)$相互独立，则其中任意$k(2\le k \le n)$个事件也是相互独立的，并且若将$A_1,A_2,\dots ,A_n$中任意多个事件换成他们的逆事件，所得的$n$个事件仍相互独立。
随机变量及其分布
离散型随机变量及其分布律
随机变量
设随机试验E的样本空间为S，X是定义在样本空间S上的实值单值函数。
设X是一随机变量，L是一个实数集合，将X在L上取值写成${x \in L}$，表示事件$B={e \in S | X(e) \in L}$
$$
P{X\in L}=P(B)=P{e|X(e)\in L}
$$
离散型随机变量
全部可能取到的值是有限个或者可列无限多个的随机变量。
随机变量的取值随随机试验的结果而定，在试验之前不能预知它取什么值，且它的取值有一定的概率。
随机变量的引入，使我们能用随机变量来描述各种随机现象，并能利用数学分析的方法对随机试验的结果进行深入研究和讨论。
离散型随机变量X的分布律
(0-1)分布——两点分布
$$
P{X=k}=p^k(1-p)^{1-k}, k=0,1,(0<p<1)
$$
伯努利试验
设随机试验$E$只有两个可能结果：$A$及$\bar{A}$，则称$E$为伯努利试验。将$E$独立重复地进行n次，则称这一串重复的独立试验位n重伯努利试验。重复指的是每次试验中$P(A)=p$保持不变；独立指的是各次试验的结果互不影响，若以$C_i$记第i次试验的结果，则$P(C_1C_2\dots C_n)=P(C_1)P(C_2)\dots P(C_n)$。
二项分布
$$
P{X=k}=C^k_np^kq^{n-k}, k=0,1,2,\dots ,n\
X\sim b(n,p)
$$
泊松分布
$$
P{X=k}=\frac{\lambda^ke^{-\lambda}}{k!}, k=0,1,2,\dots ,n, (\lambda>0)\
X\sim \pi(\lambda)
$$
泊松定理
设$\lambda>0$是一个常数，n是任意正整数，设$np_n=\lambda$，则对于任一固定的非负整数k，有
$$
{lim}_{n\to \infty}C^k_np^k_n(1-p_n)^{n-k}=\frac{\lambda^ke^{-\lambda}}{k!}
$$
泊松定理表明当n很大，p很小$(np=\lambda)$时有以下近似式
$$
C^k_np^k_n(1-p_n)^{n-k}\approx \frac{\lambda^ke^{-\lambda}}{k!}\(其中\lambda=np)
$$
以n,p为参数的二项分布的概率值可由参数为$\lambda=np$的泊松分布的概率值近似。
负二项分布——出现r次成功为止
$$
P{Y=k}=C^{r-1}_{k-1}p^r(1-p)^{k-r}, k=r,r+1,\dots
$$
几何分布——出现1次成功为止
$$
P{X=k}=p(1-p)^{k-1}, k=0,1,2,\dots
$$
超几何分布——总量N特殊D抽取n
$$
P{Y=k}=\frac{C^k_DC^{n-k}_{N-D}}{C^n_N}
$$
随机变量的分布函数
分布函数
- 不减函数
- $0\le F(x)\le 1$，且$F(-\infty)={lim}_x\to -\infty F(x)=0, F(\infty)={lim}_x\to \infty F(x)=1$
- 右连续的 $F(x+0)=F(x)$
离散型随机变量的分布函数
$$
F(x)=P{X\le x}=\sum_{x_k \le x}P{X=x_k}
$$
连续型随机变量及其概率密度
$$
F(x)=\int^x_{-\infty}f(t)dt
$$
- X的分布函数F(x)是连续函数
- 对于任一实数值a，X取值为a的概率为零，即$P{X=a}=0$
- 计算连续型随机变量落在某一区间的概率时，可不区分该区间是开区间或闭区间或半闭区间
- A是不可能事件$\Rightarrow P(A)=0$
概率密度函数
- $f(x)\le 0$
- $\int^{\infty}_{-\infty}f(x)dx=1$
- $P{x_1 < X\le x_2}=F(x_2)-F(x_1)=\int^{x_2}_{x_1}f(x)dx$
- 若f(x)在点x处连续，则有$F^’(x)=f(x)$
均匀分布
指数分布
正态分布
随机变量的函数的分布
多维随机变量及其分布
二维随机变量
边缘分布、条件分布
相互独立的随机变量
两个随机变量的函数的分布
随机变量的数字特征
数学期望
方差
协方差和相关系数
大数定理和中心极限定理
大数定理
中心极限定理
样本及抽样分布
随机样本
统计量
抽样分布
参数估计
点估计
估计量的评选标准
区间估计
正态总体的均值和方差的区间估计
单侧置信区间
假设检验
假设检验
正态总体均值的假设检验
正态总体方差的假设检验
置信区间与假设检验的关系
分布拟合试验
