机器学习中常用概率分布模型 #
Date: 2015/6/12
高斯分布(Gaussian Distribution) #
高斯分布又称正态分布(Normal Distribution),是最为常见的分布模型。在变元较多的情况下,通常情况下都是服从高斯分布的。在一些没有特别特征的概率分析中,使用高斯分布没有人会说有问题。
高斯分布的公式为:$ f(x) = \frac{1}{\sqrt{2\pi}\delta}exp(-\frac{(x-\mu)^2}{2\delta^2}) $。其中有两个分布参数$\mu$(均值)与$\delta^2$(方差),决定了高斯分布的形状。
高斯分布为钟形,中间高,两边低。当$\delta^2$增大时,钟的高度降低。$\mu$决定了钟的中心位置。伯努力分布(Bernoulli Distribution)
伯努力分布比较简单,就是两个互斥事件(一个标记为0,一个标记为1)的分布,一个事件的发生机率为$p$的话,另一个的发生机率就为(1-p)。通常情况下定义:
$$
P(x=1) = p\
P(x=0) = 1-p\
P(x) = p^x(1-p)^{1-x}\
E(x) = P(x=1) = p
$$
二项分布(Binomial distribution) #
二项分布是从伯努力分布推出来的,伯努力进行一次的取值,二项分布是重复n次的伯努力分布。以抛硬币为例,扔一次的概率分布即为伯努力,扔n次的即为二项分布。所以其概率密度函数为:
$$
P(K=k) = \binom{n}{k}p^k(1-p)^{n-k}
$$
上式就是中学常见的二项式系数。多项分布(Multinomial Distribution)
多项分布是二项分布的一个扩展,也可以说二项分布是多项分布的特殊情况。上述取值只有0,1两种,而多项分布可以有k种互斥事件:(1,2,…k),如扔骰子的k为6。
多项分布是问:每次试验,执行事件的概率分别为$ p_1, p_2, …, p_k (\sum_{i=1}^k{p_i} = 1) $,重复执行n次试验,事件执行次数分别为$ x_1, x_2, …, x_k (\sum_{i=1}^k{x_i} = n) $的可能性。
其概率密度函数为:
$$
P(x_1, x_2, …, x_k; n, p_1, p_2, …, p_k) = \frac{x_1!…x_k!}{n!}p_1^{x_1}…p_k^{x_k}
$$
多项分布也是常见概率模型。Gamma函数 #
将阶乘在实数集上进行扩展,就得到了Gamma函数。
$$\Gamma(x) = \int_0^{\infty}t^{x-1}e^{-t}dt$$
通过分部积分的方法,可以推导出这个函数有如下的递归性质
$$\Gamma(x+1) = x \Gamma(x)$$
于是很容易证明,$\Gamma(x)$ 函数可以当成是阶乘在实数集上的延拓,具有如下性质
$$\Gamma(n) = (n-1)!$$
这里为什么用的是$(n-1)!$而不是$n!$?据说,是为了使Beta分布的形式更漂亮。
具体还有一些推导和扩展应用,我看的是
我爱自然语言处理的blog我爱自然语言处理的blog,讲得非常好。Beta分布
Beta分布有一个比较经典的故事,看了就大概懂了。 #
有一天你被魔鬼撒旦抓走了,撒旦说:”你们人类很聪明,而我是很仁慈的,和你玩一个游戏,赢了就可以走,否则把灵魂出卖给我。游戏的规则很简单,我有一个魔盒,上面有一个按钮,你每按一下按钮,就均匀的输出一个[0,1]之间的随机数,我现在按10下,我手上有10个数,你猜第7大的数是什么,偏离不超过0.01就算对。“ 你应该怎么猜呢?
从数学的角度抽象一下,上面这个游戏其实是在说随机变量$X_1,X_2,\cdots,X_n {\stackrel{\mathrm{iid}}{\sim}} Uniform(0,1)$,把这$n$ 个随机变量排序后得到顺序统计量 $X_{(1)},X_{(2)},\cdots, X_{(n)}$, 然后问 $X_{(k)}$ 的分布是什么。
Beta分布其实挺好算的,用到了一个$\Delta x$,假定$X_(k)$落到了$(x - \Delta x)$中,取$\Delta x$的极限,就可以得到结果了。
$$f(x) = \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1}$$
同样,在
我爱自然语言处理的blog我爱自然语言处理的blog中,也有大量的扩展介绍。Dirichlet分布
Beta分布的问题是,第k大的数是什么。如果同时问:第$k_1, k_2, …, k_l$大的数是什么,就从Beta分布转到了Dirichlet分布了。 Categories: 概率论, 机器学习