INFORMATION & COMMUNICATION

Kullback–Leibler 散度

量化用 Q 描述 P 时的信息差异。

DKL(P∥Q)=∑xP(x)ln⁡P(x)Q(x)D_{KL}(P\Vert Q)=\sum_x P(x)\ln\frac{P(x)}{Q(x)}

符号、变量与单位

P,Q:离散概率;D_KL:nat。

适用条件与边界

P(x)>0 处须 Q(x)>0 才有限;不对称,不是距离度量。

公式源码

以下为可复制的 LaTeX 表达式。

D_{KL}(P\Vert Q)=\sum_x P(x)\ln\frac{P(x)}{Q(x)}

参考与延伸学习

MIT OpenCourseWare · Information Theory ↗

按模型定义与假设整理。工程、研究和临床使用前请核对实际条件与原始文献。

KL divergence相对熵

同学科公式

前往免费科学工具库 ↗