Kullback–Leibler 散度
量化用 Q 描述 P 时的信息差异。
符号、变量与单位
P,Q:离散概率;D_KL:nat。
适用条件与边界
P(x)>0 处须 Q(x)>0 才有限;不对称,不是距离度量。
公式源码
以下为可复制的 LaTeX 表达式。
D_{KL}(P\Vert Q)=\sum_x P(x)\ln\frac{P(x)}{Q(x)}参考与延伸学习
MIT OpenCourseWare · Information Theory ↗按模型定义与假设整理。工程、研究和临床使用前请核对实际条件与原始文献。
KL divergence相对熵