常用概率论基本概念

概率分布与概率密度

对于随机变量$X$来说,它可以是离散的也可以是连续的。

离散随机变量

离散的情况下,我们用概率分布来描述$X$,记为

$$p(x_i) = P(X=x_i) \quad (i=1,2,3,\dots,n)$$

其中,$P(X=x_i)$表示$X$取$x_i$的概率。
且有
$$p(x_i) \geq 0$$
$$\sum_{i=1}^n p(x_i) = 1$$

连续随机变量

连续的情况下,我们通常用概率密度刻画随机变量$X$,记为

$$p(x)=f(x)$$

且有

$$\int p(x)=1$$

分布函数记为

$$P(X<x)=\int_{-\infty}^x p(x)dx$$

$P(X<x)$表示$X<x$的概率

高斯分布

在数理统计中最常见的分布就是高斯分布了,在很多概率模型中都用到该分布。

一维高斯分布

一维高斯分布密度函数为

$$p(x) = {(2\pi\sigma)}^{-\frac{1}{2}}exp\left\lbrace-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}\right\rbrace$$

记为$X \backsim \mathcal{N}(x;\mu,\sigma^2)$,其中$\mu$表示高斯分布的均值,$\sigma^2$表示高斯分布的方差。

多维高斯分布

当多维随机变量服从高斯分布时,我们记为
$$p(\mathbf{x})=det(2\pi\mathbf{\Sigma})^{-\frac{1}{2}}\exp\left\lbrace-\frac{1}{2}(\mathbf{x}-\mathbf{\mu})^\mathbf{T}\mathbf{\Sigma}^{-1}(\mathbf{x}-\mathbf{\mu})\right\rbrace$$
其中,$\mathbf{x}=\begin{bmatrix}x_1 & x_2 & \dots & x_n\end{bmatrix}^\mathbf{T}$为随机向量,$\mathbf{\mu}=\begin{bmatrix}\mu_1 & \mu_2 & \dots & \mu_n\end{bmatrix}^\mathbf{T}$
为随机向量的均值,$\mathbf{\Sigma}=\begin{bmatrix}\sigma_{11} & \sigma_{12} & \dots & \sigma_{1n} \\ \sigma_{21} & \sigma_{22} & \dots & \sigma_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{n1} & \sigma_{n2} & \dots & \sigma_{nn} \end{bmatrix}$为随机向量的协方差矩阵。

可以看出,一维高斯分布是多维高斯分布的特例,多维高斯分布是一维高斯分布的扩展。

联合分布

对于两个随机变量$X$和$Y$来说,它们的联合分布表示为
$$p(x,y)=P(X=x,Y=y)$$

随机变量的独立性

如果两个随机变量相互独立,则有
$$p(x,y)=p(x)p(y)$$

条件概率

我们记随机变量$X$在$Y$的条件下的概率为
$$p(x|y)=p(X=x|Y=y)$$
若$p(y)>0$,我们有
$$p(x|y)=\frac{p(x,y)}{p(y)}$$
若$X$和$Y$相互独立,则有
$$p(x|y)=p(x)$$

全概率公式

对于离散随机变量,为
$$p(x)=\sum_y p(x|y)p(y)$$
对于连续随机变量,为
$$p(x)=\int p(x|y)p(y)dy$$

贝叶斯准则

对于离散随机变量,为
$$p(x|y)=\frac{p(y|x)p(x)}{p(y)}=\frac{p(y|x)p(x)}{\sum_{x^\prime} p(y|x^\prime)p(x^\prime)}$$
对于连续随机变量,为
$$p(x|y)=\frac{p(y|x)p(x)}{p(y)}=\frac{p(y|x)p(x)}{\int p(y|x^\prime)p(x^\prime)dx^\prime}$$

条件概率下的贝叶斯准则

给定条件随机变量$Z$取值为$Z=z$,则有
$$p(x|y,z)=\frac{p(y|x,z)p(x|z)}{p(y|z)}$$
其中$p(y|z)>0$

条件独立

如果对于给定条件$Z=z$的情况下,$X$和$Y$相互独立,则有
$$p(x,y|z)=p(x|z)p(y|z)$$
上式等效于
$$p(x|z)=p(x|z,y)$$
$$p(y|z)=p(y|z,x)$$

注意:
$$p(x,y|z)=p(x|z)p(y|z)\nRightarrow p(x,y)=p(x)p(y)$$
$$p(x,y)=p(x)p(y)\nRightarrow p(x,y|z)=p(x|z)p(y|z)$$

期望和协方差

期望

离散随机变量的情况下为
$$E[X]=\sum_x xp(x)$$
连续随机变量的情况下为
$$E[X]=\int xp(x)dx$$

期望的运算公式

线性特征
$$E[aX+b]=aE[X]+b$$

协方差

$$Cov[X]=E[X-E[X]]^2=E[X^2]-E[X]^2$$

熵表示的是随机变量的不确定程度,定义为
$$H_p(x)=E[-log_2(x)]$$
离散随机变量的情况下计算公式为
$$H_p(x)=-\sum_x p(x)log_2p(x)$$
连续随机变量的情况下计算公式为
$$H_p(x)=-\int p(x)log_2(x)dx$$

参考

  • Probabilitic Robotics
0%