新起点
条件熵
2020-08-02 19:49:40

在信息论中,条件熵描述了在已知第二个随机变量 X {\displaystyle X} 可以理解,对于确定的 >0,表达式 0 log 0 和 0 log (/0) 应被认作等于零。

当且仅当 Y {\displaystyle Y} 和 确定的组合系统的联合熵为 H ( X , Y ) {\displaystyle \mathrm {H} (X,Y)}

链式法则接着上面条件熵的定义:

条件熵的贝叶斯规则(英语:Bayes' rule)表述为

H ( Y | X ) = H ( X , Y ) H ( X ) {\displaystyle H(Y|X)=H(X,Y)-H(X)} and H ( X | Y ) = H ( Y , X ) H ( Y ) {\displaystyle H(X|Y)=H(Y,X)-H(Y)} 。对称性意味着 H ( X , Y ) = H ( Y , X ) {\displaystyle H(X,Y)=H(Y,X)} 。将两式相减即为贝叶斯规则。

在量子信息论中,条件熵都概括为量子条件熵。

网站公告: