满足这样三条性质（空集存在，对补运算与并运算封闭）的σ代数有很多，这里讨论的是包含S中全体开集的最小σ代数。对于可数样本空间，通常是 $B = {S 的全体子集，包括 S 本身}$ 。对于不可数的样本空间，例如 $S = (- \infty, \infty)$ 为实数轴，则可以取 $B$ 为包含所有形如 $[a, b], (a, b], [a, b), (a, b)$ 的集合，其中 $a, b \in R$ 。

定义：概率函数

已知样本空间S和σ代数 $B$ ，定义在 $B$ 上且满足下列条件的函数P称为一个概率函数(probability fucntion)

$\forall A \in B, P (A) \geq 0$
$P (S) = 1$
若 $A_{1}, A_{2}, \dots \in B$ 两两不相交，则 $P (⋃_{i = 1}^{\infty} A_{i}) = \sum_{i = 1}^{\infty} P (A_{i})$

概率非负性，概率归一化，概率可数可加。这三条性质称为概率公理，或Kolmogorov公理。只要满足这三条公理，函数P就可以称为一个概率函数。

（PS：统计学家通常不接受可数可加公理，只接受其推论：有限可加性公理 $P (A \cup B) = P (A) + P (B)$ ）

2.2 概率演算

定理：设P是一个概率函数， $A, B \in B$ 则

$P (\emptyset) = 0$
$P (A) \leq 1$
$P (A^{C}) = 1 - P (A)$
$P (B \cap A^{C}) = P (B) - P (A \cap B)$
$P (A \cup B) = P (A) + P (B) - P (A \cap B)$
$A \subset B \Rightarrow P (A) \leq P (B)$
$P (A \cap B) \geq P (A) + P (B) - 1$ ，Bonferroni不等式，用单个事件概率估算并发概率
对于任意划分 $C_{1}, C_{2}, \dots$ ，都有 $P (A) = \sum_{i = 1}^{\infty} A \cap C_{i}$
对于任意集合 $A_{1}, A_{2}, \dots$ 都有 $P (⋃_{i = 1}^{\infty} A \cap C_{i}) \leq \sum_{i = 1}^{\infty} P (A \cap C_{i})$ ，Boole不等式。

2.3 计数

计数涉及到很多组合分析的知识，这些分析都基于这样一条定理：

定理：计数基本定理

如果一项工作由k个相互独立的子任务组成，其中第i个任务可以使用 $n_{i}$ 种方式完成，则正向工作可以用 $n_{1} \times n_{2} \times \dots \times n_{k}$ 种方式组成。

该定理的证明可以由笛卡尔积运算的定义与性质得出。

计数的两个基本问题包括：

样本是否有序？
抽样是否放回？

定义：总体/子总体/有序样本

总体：我们用大小为n的总体表示一个由n个元素构成的集合。

因为总体是集合，所以总体是无序的，总体相同当且仅当两个总体含有相同的元素。

子总体：从大小为n的总体中选取r个元素，就构成了一个大小为r的子总体。
对子总体中的元素进行编号，可以得到大小为r的有序样本。总共有 $n!$ 种。

从N个对象中选取R个的全体可能方式的数目

	无放回抽样	有放回抽样
有序样本	$\frac{n!}{(n - r)!} = (\binom{n}{r}) A_{r}^{r}$	$n^{r}$
无序子总体	$(\binom{n}{r}) = \frac{n!}{(n - r)! r!}$	$(\binom{n + r - 1}{r})$

有序有放回最简单，每次n种可能，进行r次抽样，所以是 $n^{r}$
有序无放回从n个总体中选择出大小为r的有序样本，所以 $(\binom{n}{r}) A_{r}^{r} = (\binom{n}{r}) r! = \frac{n!}{(n - r)!}$
无序无放回和有序无放回类似，只不过抽出的是一个大小为r的子总体而不是有序样本。
有放回的无序抽样最复杂。可以理解为在n个元素上放入r个标记。把元素的边界当成一个元素考虑，那么n个盒子共有n+1个边界，共有r个标记。现在除去两侧的边界，一共有n-1+r个空位。从这些空位中选出r个来放置标记。所以是 $(\binom{n - 1 + r}{r})$

常见组合问题

大小为n的总体，有放回抽样出大小为r的有序样本：

$n^{r}$

大小为n的总体，无放回抽样出大小为r的有序样本：

$(n)_{r} = n (n - 1) \dots (n - r + 1) = \frac{n!}{(n - r)!} = C_{n}^{r} A_{n}^{r} = (\binom{n}{r}) r!$

大小为n的总体，有放回抽样出大小为r的子总体：

$(\binom{n}{r}) = \frac{(n)_{r}}{r!} = C_{n}^{r} = \frac{n!}{(n - r)! r!}$

大小为n的总体，无放回抽样出大小为r的子总体：

$(\binom{n - 1 + r}{r})$

大小为n的总体划分为k组，每组个数为 $r_{1}, \dots, r_{k}$ ：

$\frac{n!}{r_{1}! r_{2}! \dots r_{k}!}$

大小为n的总体里有m个阳性样本，无放回抽样出大小为r的子总体，其中出现k个阳性样本的概率：

$\frac{(\binom{m}{k}) (\binom{n - m}{r - k})}{(\binom{n}{r})}$

3. 条件概率与独立性

定义：条件概率

设A,B为S重的时间，且 $P (B) > 0$ ，则在事件B发生的条件下事件A发生的条件概率记作 $P (A | B)$ 表示为：

$P (A | B) = \frac{P (A \cap B)}{P (B)}$

直觉上很好理解，AB共同发生的概率等于B发生的概率乘以B发生条件下A发生的概率： $P (A B) = P (A | B) P (B)$

自然而然，A在B条件下的发生概率为：AB共同发生概率除以 B的发生概率。这里事件B的样本点构成了新的样本空间，而P(A|B)也一定满足概率三公理，构成新样本空间上的一个概率函数。

定理：BAYES公式

设 $A_{1}, A_{2}, \dots$ 为样本空间的一个划分，B为任意集合，则对 $i = 1, 2, \dots$ ，有：

$P (A_{i} | B) = \frac{P (B | A_{i}) P (A_{i})}{\sum_{j = 1}^{\infty} P (B | A_{j}) P (A_{j})}$

定义：统计独立

称事件A，B统计独立(statistically independent)，如果 $P (A \cap B) = P (A) P (B)$

称一系列事件 $A_{1}, \dots, A_{n}$ 相互独立(mutually independent)，如果对于任意 $A_{i_{1}}, \dots, A_{i_{k}}$ 都有：

$P (⋂_{j = 1}^{k} A_{i_{j}}) = \prod_{j = 1}^{k} P (A_{i_{j}})$

4. 随机变量

许多试验中存在一个具有概括作用的变量，它处理起来比原概率模型要简单的多。

例如：50个人表决的结果，样本空间为 $2^{50}$ 。其实我们感兴趣的只不过是有多少人赞成，那么定义变量X=赞成个数，样本空间就变成了整数集合： ${s | 0 \leq s \leq 50 \land s \in Z}$

定义：随机变量

从样本空间映射到实数的函数称为随机变量(random variable)

定义了随机变量，也就定义了一个新的样本空间（随机变量的值域）。但更重要的是，我们要通过原来样本空间上定义的概率函数，定义出这个随机变量的概率函数：诱导概率函数 $P_{X}$ 。

假设有样本空间 $S = {s_{1}, \dots, s_{n}}$ 以及概率函数P，定义随机变量X的值域为： $X = {x_{1}, \dots, x_{n}}$ 。我们可以如下定义 $X$ 上的概率函数 $P_{X}$ ：观测到事件 $X = x_{i}$ 发生当且仅当随机试验的结果 $s_{j} \in S$ 满足 $X (s_{j}) = x_{i}$ ，即：

$P_{x} (X = x_{i}) = P ({s_{j} \in S : X (S_{j}) = x_{i}})$

因为 $P_{X}$ 是通过已知的概率函数P得到的，所以称之为 $X$ 上的诱导概率函数，易证该函数也满足概率公理。

对于连续的样本空间S，情况类似：

$P_{x} (X \in A) = P ({s_{j} \in S : X (S_{j}) \in A})$

5. 分布函数

对于任意随机变量，我们都可以构造一个函数：累积分布函数(cumulative distribution function)，简称CDF。

定义：累积分布函数

随机变量X的累积分布函数，记作 $F_{X} (x)$ ，表示： $F_{X} (x) = P_{X} (X \leq x)$

X的分布为 $F_{X}$ ，可以简记作： $X \sim F_{X} (x)$ ，其中“~”读作分布如。

例：掷硬币

同时投掷三枚硬币，令X=正面朝上的硬币数，则X的累积分布函数是一个阶梯函数：

$F_{X} (x) = {\begin{aligned} 0 & - \infty < x < 0 \\ 1 / 8 & 0 \leq x < 1 \\ 1 / 2 & 1 \leq x < 2 \\ 7 / 8 & 2 \leq x < 3 \\ 1 & 3 \leq x < \infty \end{aligned}$

由累积分布函数的定义可知， $F_{X} (x)$ 是右连续的。

性质：累积分布函数

函数 $F (x)$ 是一个累积分布函数，当且仅当它同时满足下列三个条件。

$lim_{x \to - \infty} F (x) = 0$ 且 $lim_{x \to \infty} F (x) = 1$
$F (x)$ 是 $x$ 的单调递增函数
$F (x)$ 右连续： $\forall x_{0} (lim_{x \to x_{0}^{+}} F (x) = F (x_{0}))$

定义：离散/连续随机变量

设X为一随机变量，如果 $F_{X} (x)$ 是x的连续函数，则称X是连续的(continuous)；如果 $F_{X} (x)$ 是x的阶梯函数，则称X是离散(discrete)的。

累积分布函数 $F_{X}$ 能够完全确定随机变量X的概率分布。所以引出了随机变量同分布的概念。

定义：随机变量同分布

称随机变量X和Y同分布(identically distributed)，如果对任意集合 $A \in B^{1}$ ，都有 $P (X \in A) = P (Y \in A)$

注意两个同分布的随机变量并不表示 $X = Y$ ，比如令XY分别为连掷三次硬币正反面朝上的次数。

定理：同分布随机变量的性质

随机变量X与Y同分布，当且仅当 $\forall x (F_{X} (x) = F_{Y} (x))$

6. 概率密度函数与概率质量函数

与随机变量X，累积分布函数 $F_{X}$ 相关的还有一个函数：若X是连续随机变量，该函数称作概率密度函数；若X是离散随机变量，该函数称作概率质量函数。它们关注的都是随机变量的“点概率”。

定义：概率质量函数(PROBABILITY MASS FUNCTION) 简称PMF

离散随机变量X的概率质量函数定义为：

$\forall x (f_{X} (x) = P_{X} (X = x))$

概率质量函数的集合解释： $P_{X} (X = x), i . e f_{X} (x)$ 等于累积分布函数在x处的跃变高度。

推广到连续变量的情景，则有：

$P (X \leq x) = F_{X} (x) = \int_{- \infty}^{x} f_{X} (t) d t$

定义：概率密度函数(PROBABILITY DENSITY FUNCTION)，PDF

连续随机变量X的概率密度函数，是满足下式的函数：

$F_{X} (x) = \int_{- \infty}^{x} f_{X} (t) d t, x 任意$

定理：PDF/PMF的性质

函数 $f_{X} (x)$ 是随机变量X的概率密度函数（或概率质量函数），当且仅当它同时满足以下两个条件

$\forall x (f_{X} (x) \geq 0)$
$\sum_{x} f_{X} (x) = 1$ （概率质量函数）或 $\int_{- \infty}^{\infty} f_{X} (x) d x = 1$ （概率密度函数）