内容提要

第一讲: 随机事件与概率

通过生活中的例子, 本讲介绍了与随机事件和概率的基本概念.

 

第二讲: 随机变量

随机变量是对随机事件的抽象描述, 本讲介绍了离散型随机变量及其对应的概率质量函数, 以及连续型随机变量及其对应的概率密度函数.

 

第三讲: 期望与方差

期望和方差是描述一个随机变量的重要指标, 本讲介绍了期望和方差的定义和计算.

 

第四讲: 条件概率

本讲通过具体的例子介绍了条件概率, 乘法准则和加法准则的基本概念, 稍微提了一下统计推断和贝叶斯公式. 这部分内容是机器学习和统计学中的核心内容.

_Ol

随机事件与概率

生活中有各种各样我们无法准确预知结果的事件, 比如抛硬币, 掷骰子和明天的天气. 数学上我们用概率 (probability) 来描述这类随机事件 (random event).

概率的定义

对于一个随机事件 (如抛硬币), 该事件所有可能的结果称为样本空间, 样本空间是一个集合, 通常记作 $\mathrm{\Omega }$$\Omega$ (如对抛硬币来说 $\mathrm{\Omega }=\{\text{正}\text{面}\text{朝}\text{上},\text{背}\text{面}\text{朝}\text{上}\}$$\Omega = \{ 正面朝上, 背面朝上\}$). $\mathrm{\Omega }$$\Omega$ 中的各种结果或结果的组合统称为随机事件, 对某个随机事件, 我们用一个 $[0,1]$$[0, 1]$ 内的数字 $P$$P$ 来表示该随机事件发生的可能性, 并称其为概率 (如对抛硬币来说 $P(\{0\})=P(\{1\})=0.5$$P(\{0\}) = P(\{1\}) = 0.5$).

我们再来看两个例子:

例1.1 掷骰子

样本空间

• $\mathrm{\Omega }=\{1,2,3,4,5,6\}$$\Omega=\{1, 2, 3, 4, 5, 6\}$

随机事件

• 掷出的数字分别为: {1}, {2}, {3}, {4}, {5}, {6}

• 掷出奇数: {1, 3, 5}

• 掷出小数: {1, 2, 3}

• 掷出小数或奇数: {1, 2, 3, 5}

• ...

概率

• $P(\{1\})=P(\{2\})=P(\{3\})=P(\{4\})=P(\{5\})=P(\{6\})=1/6$$P(\{1\})=P(\{2\})=P(\{3\})=P(\{4\})=P(\{5\})=P(\{6\})=1/6$

• $P(\text{掷}\text{出}\text{奇}\text{数})=P(\{1\})+P(\{3\})+P(\{5\})=0.5$$P(掷出奇数)=P(\{1\})+P(\{3\})+P(\{5\})=0.5$

• $P(\text{掷}\text{出}\text{小}\text{数})=P(\{1\})+P(\{2\})+P(\{3\})=0.5$$P(掷出小数)=P(\{1\})+P(\{2\})+P(\{3\})=0.5$

• $P(\text{掷}\text{出}\text{小}\text{数}\text{或}\text{奇}\text{数})=P(\{1\})+P(\{2\})+P(\{3\})+P(\{5\})=2/3$$P(掷出小数或奇数)=P(\{1\})+P(\{2\})+P(\{3\})+P(\{5\})=2/3$

_Gn

例1.2 明天的天气

样本空间

• $\mathrm{\Omega }=\{\text{晴},\text{多}\text{云},\text{雨}\}$$\Omega=\{晴, 多云, 雨\}$

随机事件

• 明天天晴

• 明天多云

• 明天下雨

• 明天不下雨={晴,多云}

• ...

概率

• $P(\text{晴})=0.6$$P(晴)=0.6$

• $P(\text{多}\text{云})=0.3$$P(多云)=0.3$

• $P(\text{雨})=0.1$$P(雨)=0.1$

• $P(\text{明}\text{天}\text{不}\text{下}\text{雨})=P(\text{晴})+P(\text{多}\text{云})=0.9$$P(明天不下雨)=P(晴)+P(多云)=0.9$

_Gn

概率的计数模型

概率是个比较抽象的数学概念, 下面我们通过两个具象的方式来理解概率的意义. 首先是概率的计数模型, 一个形象的例子是抽签: $N$$N$ 个签中有 $M$$M$ 个上上签, 问抽到上上签的概率是多少？相信很多人一看就知道, $P(\text{上}\text{上}\text{签})=M/N$$P(上上签)=M/N$, 不过需要注意的是, 上述结论的前提是每个事件(抽到 $N$$N$ 个签中的任何一个)的可能性都相等.

我们来看两个通过计数模型计算概率的例子:

例1.3: 抛2次硬币得到2次正面朝上的概率

抛两次硬币一共带来 $N=4$$N=4$ 种可能的结果, 且出现每一种的可能性都相等:

1. 正-正

2. 正-背

3. 背-正

4. 背-背

我们所关心的2次都正面朝上的结果只有第一种情况, 因此 $M=1$$M=1$, 从而 $P(\text{抛}2\text{次}\text{硬}\text{币}2\text{次}\text{正}\text{面}\text{朝}\text{上})=1/4$$P(抛2次硬币2次正面朝上) = 1/4$.

_Gn

例1.4: 掷2次骰子的数字加起来等于8的概率

掷2次骰子一共带来 $N=6\times 6=36$$N=6\times 6=36$ 种可能的结果, 且出现每一种的可能性都相等. 在这36种结果种, 2次数字加起来恰好等于8的情形包括:

1. 2+6

2. 3+5

3. 4+4

4. 5+3

5. 6+2

一共有 $M=5$$M=5$ 种情形. 因此 $P(\text{掷}2\text{次}\text{色}\text{子}\text{的}\text{数}\text{字}\text{加}\text{起}\text{来}\text{等}\text{于}8)=5/36$$P(掷2次色子的数字加起来等于8) = 5/36$

思考: 请你算一算掷2次骰子的数字加起来等于2的概率是多少呢？

_Gn

概率的几何模型

接下来我们借助几何的观点将概率具象化. 我们先来看两个例子:

例1.5: 幸运大转盘获一等奖的概率

$$P(\text{一}\text{等}\text{奖})=\frac{\text{深}\text{红}\text{色}\text{对}\text{应}\text{的}\text{弧}\text{长}}{\text{转}\text{盘}\text{周}\text{长}}$$

_Gn

例1.6: 陨石砸到居民区的概率

$$P(\text{陨}\text{石}\text{砸}\text{到}\text{居}\text{民}\text{区})=\frac{\text{居}\text{民}\text{区}\text{的}\text{面}\text{积}}{\text{区}\text{域}\text{总}\text{面}\text{积}}$$

_Gn

随机变量

变量 $X$$X$ 可以表示什么？$X=5$$X=5$ 可以表示盘子里有5个苹果, $X=9.99$$X=9.99$ 可以表示一千克苹果的价格. 既然我们可以用变量 $X$$X$ 来表示某种确定性的量, 很自然的我们也可以用 $X$$X$ 来表示随机的量, 用来表示随机事件的变量称为随机变量 (random variable). 数学上我们一般用大写字母如 $X,Y,S,T$$X, Y, S, T$ 来表示随机变量. 用随机变量来表示随机事件很方便也很自然, 有些事件的结果是离散的, 比如盘子里苹果的数目一定是个整数, 而有些事件的结果是连续的, 比如苹果的价格可以是任意实数. 用来表示离散事件的随机变量称为离散型随机变量, 用来表示连续事件的随机变量称为连续性随机变量.

离散型随机变量

先来看几个离散型随机变量的例子.

例2.1: 用随机变量来表示抛硬币

• $P(\text{硬}\text{币}\text{正}\text{面}\text{朝}\text{上})=0.5$$P(硬币正面朝上)=0.5$ $⟺$$\iff$ $P(X=1)=0.5$$P(X = 1)=0.5$

• $P(\text{硬}\text{币}\text{背}\text{面}\text{朝}\text{上})=0.5$$P(硬币背面朝上)=0.5$ $⟺$$\iff$ $P(X=0)=0.5$$P(X=0) = 0.5$

_Gn

例2.2: 用随机变量来表示掷骰子

• $P(\text{掷}\text{出}\text{数}\text{字}k)=1/6$$P(掷出数字k)=1/6$ $⟺$$\iff$ $P(X=k)=1/6$$P(X = k)=1/6$, $k=1,2,3,4,5,6.$$k=1,2, 3, 4, 5, 6.$

_Gn

例2.3: 用随机变量来表示天气

• $P(\text{晴})=0.6$$P(晴)=0.6$ $⟺$$\iff$ $P(X=1)=0.6$$P(X = 1)=0.6$

• $P(\text{多}\text{云})=0.3$$P(多云)=0.3$ $⟺$$\iff$ $P(X=2)=0.3$$P(X = 2)=0.3$

• $P(\text{雨})=0.1$$P(雨)=0.1$ $⟺$$\iff$ $P(X=3)=0.1$$P(X = 3)=0.1$

_Gn

例2.4: 用随机变量来表示盘子里苹果的数目

对非负整数 $k\ge 0$$k \ge 0$:

${\displaystyle P(\text{盘}\text{子}\text{里}\text{有}k\text{个}\text{苹}\text{果})=\frac{{\lambda }^k{\mathrm{e}}^{-\lambda }}{k!}⟺P(X=k)=\frac{{\lambda }^k{\mathrm{e}}^{-\lambda }}{k!}}$$\displaystyle P(盘子里有 k 个苹果) = \frac{\lambda^k \mathrm{e}^{-\lambda} }{k!} \iff P(X=k) = \frac{\lambda^k \mathrm{e}^{-\lambda} }{k!}$

这个分布也叫泊松分布.

_Gn

连续型随机变量

我们再来看几个连续型随机变量的例子.

例2.5: 用随机变量来表示灯泡的寿命

设 $X$$X$ 等于某种型号灯泡的使用寿命(单位为天), 则

• $P(\text{换}\text{上}\text{该}\text{灯}\text{泡}\text{后}\text{一}\text{个}\text{月}\text{内}\text{坏}\text{掉}\text{的}\text{概}\text{率})=P(X<30)$$P(换上该灯泡后一个月内坏掉的概率)= P(X < 30)$.

_Gn

例2.6: 用随机变量来表示测量误差

设 $L$$L$ 表示珠穆朗玛峰的真实高度, $L^{\prime }$$L'$ 表示一次测量得到的珠峰高度, 令 $X=L^{\prime }-L$$X = L' - L$ 为测量误差(单位为米), 则

• $P(\text{测}\text{量}\text{误}\text{差}\text{在}\pm 1\text{米}\text{范}\text{围})=P(-1<X<1)$$P(测量误差在\pm 1米范围)= P(-1<X<1)$.

_Gn

连续型随机变量可以通过概率密度函数(Probability Density Function, PDF) 来描述, 通常记作 $p_X(x)$$p_X(x)$ 或简记作 $p(x)$$p(x)$.

例2.5中的概率密度函数

在 例2.5 中, 灯泡的寿命可以用指数分布 (exponential distribution)来描述, 指数分布对应的概率密度函数为

$$p(x)=\lambda {\mathrm{e}}^{-\lambda x},\lambda >0,x\ge 0$$

其对应的函数图像如下图所示.

_Gn

例2.6中的概率密度函数

在 例2.6 中, 测量误差可以用峰值位于0点处的高斯分布 (Gauss distribution) 来描述, 其对应的概率密度函数为

$$p(x)=\frac{1}{\sqrt{2\pi }\sigma }{\mathrm{e}}^{-\frac{x^2}{{\sigma }^2}},\sigma >0$$

高斯分布也叫正态分布 (normal distribution), 其对应的函数图像如下图所示.

_Gn

从映射角度来理解随机变量

我们可以用映射的观点来理解随机变量及其概率质量函数或概率密度函数:

随机变量

随机变量本质上是一个映射, 这个映射把样本空间_Rd中的随机事件映射到一个数_Rd $X$$X$, 如

• 随机事件“抛硬币背面朝上” $\to X=0$$\rightarrow X= 0$

• 随机事件"灯泡的寿命为165.2小时" $\to X=165.2$$\rightarrow X = 165.2$

相比随机事件而言, 随机变量的描述方式更具准确性, 简单性和通用性.

_Aq

概率质量函数和概率密度函数

概率质量函数和概率密度函数本质上也是映射, 而且是从数到数的映射, 即函数. 其中:

• 概率质量函数把离散型随机变量的值 (例如整数) 映射到 $[0,1]$$[0, 1]$ 区间内, 其意义代表对应事件发生的概率_Rd.

• 概率密度函数把随机变量的取值范围 (例如实数) 映射到非负实数 $[0,+\mathrm{\infty })$$[0, +\infty)$ 上, $p(x)$$p(x)$ 的意义代表在 $x$$x$ 处的概率密度_Rd.

_Aq

期望与方差

上一讲中我们介绍的概率质量分布和概率密度分布可以看作是对随机变量的完整细致的描述, 期望和方差是对概率质量分布的一个整体宏观上的描述. 我们举拿下面的员工工资单做一个类比.

例3.1 你更喜欢哪份工作?

---

有两份工作的月收入分别是 $X$$X$ 和 $Y$$Y$, 2023年的工资单如右边表格所示. 这份工资单记录了每个月的收入, 但很多时候我们并不关心这么详细的信息, 比如说我们只想知道谁的收入更高, 或者谁的收入更稳定.

 

谁的收入更高?

我们可以计算每个月的平均收入, 也就是把所有月份的收入加起来再除以月的数目, 这样的月平均收入能告诉我们每个月大致能有多少收入, 也就是每个月可以期望获得的收入. 从右表算出来 $X$$X$ 和 $Y$$Y$ 的期望分别是 34,396 和 26,058.

 

谁的收入更稳定?

• 方法一 计算最大月收入与最小月收入之间的差, 表示月收入变化的幅度. 但这个方法实际上只计算了最大和最小两个月的收入, 过于极端, 不能很好的反映收入的整体情况.

• 方法二 计算每个月收入与平均月收入的差, 然后把差额平方求和再除以月份数. 这样算出来的方差综合了所有月份的数据, 直观上要比方法一更合理. 从右表算出来 $X$$X$ 和 $Y$$Y$ 的方差分别是 723,910,000 和 2,876,000.

所以你更喜欢那份工作呢?

X 和 Y 两份工作的工资单

	$X$$X$	$Y$$Y$
2023.01	28,000	25,400
2023.02	37,640	26,200
2023.03	21,000	25,750
2023.04	8,070	28,160
2023.05	27,000	25,120
2023.06	39,780	23,090
2023.07	78,230	26,320
2023.08	4,350	27,340
2023.09	23,370	25,880
2023.10	98,640	23,170
2023.11	9,890	28, 900
2023.12	36,780	27,360

基于上述动机, 我们引入概率质量分布期望(Expectation)和方差的(Variance)概念.

期望

离散型随机变量的期望

设离散型随机变量 $X$$X$ 的概率质量函数为 $P_X(k)$$P_X(k)$, 则 $X$$X$ 的期望等于

$$\mathrm{E}(X)=\sum _{k}k\cdot P_X(k)$$

_Aq

连续型随机变量的期望

设连续型随机变量 $X$$X$ 的概率密度函数 $p(x)$$p(x)$, 则 $X$$X$ 的期望等于

$$\mathrm{E}(X)={\int }_{x}x\cdot p(x)\mathrm{d}x$$

_Aq

例2.2中随机变量的期望

例2.2中离散型随机变量 $X$$X$ 的概率质量函数为 $P(X=k)=1/6$$P(X = k)=1/6$, $k=1,2,\cdots ,6$$k=1, 2, \cdots, 6$. $X$$X$ 的期望等于

$$\mathrm{E}(X)=\sum _{k=1}^6\frac{1}{6}k=3.5.$$

Warning

也就是说, 掷很多次骰子, 每次的点数可大可小, 但平均下来每一次得到的点数大约在3.5附近.

_Gn

例2.6中随机变量的期望

例2.6中连续型随机变量 $X$$X$ 的概率密度函数为

$$p(x)=\frac{1}{\sqrt{2\pi }\sigma }{\mathrm{e}}^{-\frac{x^2}{{\sigma }^2}},\sigma >0$$

注意到 $p(x)$$p(x)$ 是一个偶函数, 它的值关于 $y$$y$ 轴是左右对称的, 微积分中的一个结论是: 偶函数的积分一定为0, 因此 $X$$X$ 的期望 $\mathrm{E}(X)=0$$\mathrm{E}(X) = 0$.

Warning

也就是说, 做很多次测量, 误差可正可负, 但这些误差平均起来大约等于0.

_Gn

方差

离散型随机变量的方差

设离散型随机变量 $X$$X$ 的概率质量函数为 $P_X(k)$$P_X(k)$, 则 $X$$X$ 的方差等于

$$\mathrm{Var}(X)=\sum _k(k-\mathrm{E}(X){)}^2\cdot P_X(k)$$

_Aq

连续型随机变量的方差

设连续型随机变量 $X$$X$ 的概率密度函数 $p(x)$$p(x)$, 则 $X$$X$ 的方差等于

$$\mathrm{Var}(X)={\int }_x(x-\mathrm{E}(X){)}^2\cdot p(x)\mathrm{d}x$$

_Aq

例2.2中随机变量的方差

例2.2中离散型随机变量 $X$$X$ 的概率质量函数为 $P(X=k)=1/6$$P(X = k)=1/6$, $k=1,2,\cdots ,6$$k=1, 2, \cdots, 6$. $X$$X$ 的期望等于3.5, $X$$X$ 的方差为,

$$\mathrm{Var}(X)=\sum _{k=1}^6\frac{1}{6}(k-3.5{)}^2\approx 2.9167.$$

_Gn

例2.6中随机变量的方差

例2.6中连续型随机变量 $X$$X$ 的概率密度函数为

$$p(x)=\frac{1}{\sqrt{2\pi }\sigma }{\mathrm{e}}^{-\frac{x^2}{{\sigma }^2}},\sigma >0$$

$X$$X$ 的期望为0, 方差为 ${\sigma }^2$$\sigma^2$. 从图4中也可以看出, 方差 ${\sigma }^2$$\sigma^2$ 越大, $p(x)$$p(x)$ 的函数曲线也越宽, 表示 $X$$X$ 的值分布得更分散.

_Gn

条件概率

前面几讲我们讨论的都是单个随机变量, 实际问题中我们经常需要同时考虑两个或多个随机事件, 这一讲我们将把两个随机变量放在一起分析.

例4.1: 小红帽与大灰狼

小红帽在去外婆家的途中遇到了一个岔路口, 小红帽会从两条岔路中随机的挑一条路, 我们用随机变量 $X$$X$ 来表示小红帽选的岔路:

• $X=0$$X = 0$ 表示小红帽选择了左边的岔路;

• $X=1$$X=1$ 表示小红帽选择了右边的岔路.

每条岔路小红帽都有一定概率会碰到大灰狼, 我们用随机变量 $Y$$Y$ 来表示小红帽是否会碰到大灰狼:

• $Y=0$$Y=0$ 表示小红帽没碰到大灰狼;

• $Y=1$$Y=1$ 表示小红帽碰到了大灰狼.

因为两条路看起来都一样, 所以小红帽选左边岔路或右边岔路的概率是相等的, 都等于0.5_Pr. 然而小红帽所不知道的是, 左边的岔路碰到大灰狼的概率是0.6_Pr, 右边的岔路碰到大灰狼的概率是0.2_Pr. 条件概率能够告诉我们小红帽的命运如何.

_Aq

乘法准则

加法准则

条件独立性

统计推断