熵率

在概率的数学理论中，非正式地说，一个随机过程的熵率或信源信息率是在一个随机过程的平均信息的时间密度。对于一个索引可数的随机过程，熵率 Η(X) 是 n 个 X_k 过程作为成员的联合熵，在 n 趋向无穷时的极限：

$\mathrm {H} (X)=\lim _{n\to \infty }{\frac {1}{n}}\mathrm {H} (X_{1},X_{2},\dots X_{n})$

前提是该极限存在。另一种相关量为：

$\mathrm {H} '(X)=\lim _{n\to \infty }\mathrm {H} (X_{n}|X_{n-1},X_{n-2},\dots X_{1})$

对于强平稳随机过程， $\mathrm {H} (X)=\mathrm {H} '(X)$熵率可以被认为是随机信源的一般特性；这是渐近均分割性。

马尔可夫链的熵率

因为由不可约、非周期性、持久性的马尔可夫链定义的随机过程呈平稳分布，熵率与初始分布无关。

例如，对于在可数状态下定义的，转移矩阵为 P_ij 的马尔可夫链 Y_k，Η(Y) 由下式给出：

$\displaystyle \mathrm {H} (Y)=-\sum _{ij}\mu _{i}P_{ij}\log P_{ij}$

其中 μ_i 是该链的平稳分布。

此定义的一个简单结果是，一个独立同分布的随机过程的熵率与该过程中的任何个别成员的熵相同。

参见

• 信源(数学)
• 马氏信源
• 渐近均分割性

参考文献

• Cover, T. and Thomas, J. (1991) Elements of Information Theory, John Wiley and Sons, Inc., ISBN 0-471-06259-6 [1] Archive.is的存档，存档日期2012-12-16

外部链接

• Systems Analysis, Modelling and Prediction (SAMP), University of Oxford MATLAB代码，估计随机过程的信息论量。