在信息论中,条件熵描述了在已知第二个随机变量 X {\displaystyle X} 可以理解,对于确定的 >0,表达式 0 log 0 和 0 log (/0) 应被认作等于零。
当且仅当 Y {\displaystyle Y} 和 确定的组合系统的联合熵为 H ( X , Y ) {\displaystyle \mathrm {H} (X,Y)} :
链式法则接着上面条件熵的定义:
条件熵的贝叶斯规则(英语:Bayes' rule)表述为
H ( Y | X ) = H ( X , Y ) − H ( X ) {\displaystyle H(Y|X)=H(X,Y)-H(X)} and H ( X | Y ) = H ( Y , X ) − H ( Y ) {\displaystyle H(X|Y)=H(Y,X)-H(Y)} 。对称性意味着 H ( X , Y ) = H ( Y , X ) {\displaystyle H(X,Y)=H(Y,X)} 。将两式相减即为贝叶斯规则。
在量子信息论中,条件熵都概括为量子条件熵。