信息论与通信离散信息熵H(X)=−∑xp(x)log2p(x)H(X)=-\sum_x p(x)\log_2p(x)H(X)=−x∑p(x)log2p(x)衡量随机信源每次输出的平均不确定性。查看公式解释
信息论与通信AWGN 信道容量C=Blog2(1+SN)C=B\log_2\left(1+\frac SN\right)C=Blog2(1+NS)给出带限高斯噪声信道的理论最大可靠传输率。查看公式解释
信息论与通信Kullback–Leibler 散度DKL(P∥Q)=∑xP(x)lnP(x)Q(x)D_{KL}(P\Vert Q)=\sum_x P(x)\ln\frac{P(x)}{Q(x)}DKL(P∥Q)=x∑P(x)lnQ(x)P(x)量化用 Q 描述 P 时的信息差异。查看公式解释