共轭分布
共轭(conjugate) : 后验和先验是同一种分布。
泊松分布-伽马分布模型
假设有一组观测样本 $x _ { 1 } , \dots , x _ { n }$ 独立同分布于泊松分布，即 $x _ { i } \sim \operatorname { Poisson } ( \lambda )$ ，则
$$
p \left( x _ { i } | \lambda \right) = \frac { e ^ { - \lambda } \lambda ^ { x _ { i } } } { x _ { i } ! }
$$
从而，可以很轻松地写出相应的似然（likelihood）： $$\mathcal { L } \left( x _ { 1 } , \ldots , x _ { n } | \lambda \right) = \prod _ { i = 1 } ^ { n } \frac { e ^ { - \lambda } \lambda ^ { x _ { i } } } { x _ { i } ! } = \frac { e ^ { - n \lambda } \lambda \sum _ { i = 1 } ^ { n } x _ { i } } { \prod _ { i = 1 } ^ { n } x _ { i } ! }$$
其中，$\lambda>0$ 是一个未知的参数，进一步假设其服从伽马分布，给定先验 ，则$\lambda \sim \operatorname { Gamma } ( \alpha , \beta )$，则
$$ p ( \lambda | \alpha , \beta ) = \frac { \beta ^ { \alpha } } { \Gamma ( \alpha ) } e ^ { - \beta \lambda } \lambda ^ { \alpha - 1 }$$
其中，需要说明的是，伽马分布中的 $\alpha$ 表示形状（shape）参数， $\beta$ 表示比率（rate）参数， $\Gamma(\cdot)$ 表示伽马函数。
在贝叶斯分析中，有了先验和似然，则poster $\propto$ prior $\times$ likelihood,也就是所谓的后验分布正比于先验和似然的乘积。
即 $$\begin{aligned}\left( \lambda | x _ { 1 } , \ldots , x _ { n } , \alpha , \beta \right) &\propto p ( \lambda | \alpha , \beta ) \mathcal { L } \left( x _ { 1 } , \ldots , x _ { n } | \lambda \right) \\ & \propto e ^ { - ( \beta + n ) \lambda } \lambda ^ { \alpha + \sum _ { i = 1 } ^ { n } x _ { i } - 1 } \\ & \Rightarrow \left( \lambda | x _ { 1 } , \ldots , x _ { n } , \alpha , \beta \right) \sim \operatorname { Gamma } \left( \alpha + \sum _ { i = 1 } ^ { n } x _ { i } , \beta + n \right)\end{aligned}$$
因此，假设一组观测样本独立同分布于参数为$\lambda$的泊松分布，则伽马分布是参数$\lambda$的共轭先验（conjugate prior）。
正态分布-正态分布模型
假设一组观测样本 $x _ { 1 } , \dots , x _ { n }$ 独立同分布于正态分布，即 $x_{i} \sim \mathcal{N}(\mu,\sigma^{2})$ ，其中， $\boldsymbol{\mu}$是未知的，$\boldsymbol{\sigma^{2}}$ 是已知的（不需要假设先验），则似然为:
$$\begin{aligned}\mathcal { L } \left( x _ { 1 } , \ldots , x _ { n } | \mu \right) & = \prod _ { i = 1 } ^ { n } \frac { 1 } { \sqrt { 2 \pi } \sigma } \exp { - \frac { 1 } { 2 \sigma ^ { 2 } } \left( x _ { i } - \mu \right) ^ { 2 } } \\ & \propto \exp { - \frac { 1 } { 2 \sigma ^ { 2 } } \left( x _ { i } - \mu \right) ^ { 2 } } \end{aligned}$$
进一步，假设参数$\boldsymbol{\mu}$的先验为$\boldsymbol{\mu} \sim \mathcal{N}(\mu_{0},\sigma_{0}^{2})$ ，即
$$ p\left( \mu | \mu _ { 0 } , \sigma _ { 0 } \right) = \frac { 1 } { \sqrt { 2 \pi } \sigma _ { 0 } } \exp { - \frac { 1 } { 2 \sigma _ { 0 } ^ { 2 } } \left( \mu - \mu _ { 0 } \right) ^ { 2 } } $$
从而，可以推导出后验为
$$\begin{aligned} p\left( \mu | x _ { 1 } , \ldots , x _ { n } , \mu _ { 0 } , \sigma _ { 0 } \right) & \propto p \left( \mu | \mu _ { 0 } , \sigma _ { 0 } \right) \mathcal { L } \left( x _ { 1 } , \ldots , x _ { n } | \mu \right) \\ & \propto \exp { - \frac { 1 } { 2 } \left[ \frac { 1 } { \sigma ^ { 2 } } \sum _ { i = 1 } ^ { n } \left( x _ { i } - \mu \right) ^ { 2 } + \frac { 1 } { \sigma _ { 0 } ^ { 2 } } \left( \mu - \mu _ { 0 } \right) ^ { 2 } \right] } \\ & \propto \exp { - \frac { 1 } { 2 } \left( \frac { 1 } { \sigma _ { 0 } ^ { 2 } } + \frac { n } { \sigma ^ { 2 } } \right) \left( \mu - \frac { \frac { \mu _ { 0 } } { \sigma _ { 0 } ^ { 2 } } + \frac { n \overline { x } } { \sigma ^ { 2 } } } { \frac { 1 } { \sigma _ { 0 } ^ { 2 } } + \frac { n } { \sigma ^ { 2 } } } \right) ^ { 2 } } \end{aligned}$$
因此，后验也服从正态分布，一般而言，有了先验和似然，计算后验能够方便我们实现变分推断和Gibbs采样等。
