交叉熵【Cross Entropy】与KL散度【Kullback-Leibler Divergence】

1. 信息量与熵

信息量：它用来衡量一个事件的不确定性。一个事件发生的概率越大，不确定性越小，则它所携带的信息量就越小。

【数学直观理解】假设 $X$ 是一个离散型随机变量，取值集合为 $X$，概率分布函数为 $p(x)=P(X=x),x\in X$。

定义事件 $X=x_0$ 的信息量为 $I(x_0)=-log(p(x_0))$，当 $p(x_0)=1$时，也就是事件发生概率为1，信息量将等于0，也就是说该事件的发生不会导致任何信息量的增加。

熵（信息熵）：用来衡量一个系统的混乱程度，量化信息的不确定性。它代表一个系统中信息量的总和，信息量总和越大，表明这个系统的不确定性就越大。

如何度量？对所有可能事件所带来的信息量求期望。

对于随机变量 $X$，其概率分布 $P$ 如下所示：

那么该随机变量 $X$ 的熵值定义如下：
$$\begin{array}{r}H(X)=-\sum _{i=1}^{n}p(x_i)\log p(x_i)\end{array}$$

• 当 $p(x_i)=0$时，定义$H(X)=0.({\lim }_{x\to 0+}x\log x=0)$
• 熵越大，随机变量的不确定性就越大。 当每个概率都一样，即$p(x_i)$都相等时，熵最大为$H(X)=\log n$.
• $0\le H(P)\le \log n$

【e.g.】 存在三个容器，每一个容器里面都含有两种元素：三角形和圆形，哪一个容器的确定性最高？

很显然，容器3的熵值最小，确定性最大。这个结果也十分符合常理，容器3中有29个圆形，1个三角形，内部信息是相对稳定的。

2. 交叉熵（Cross-Entropy）

2.1 交叉熵的定义

如果说熵是衡量一个随机变量分布内在不确定性的指标，那 交叉熵就是衡量两个概率分布（真实分布和预测分布）之间差异的指标。

对于给定的 真实分布 $P$ 和 预测分布 $Q$，交叉熵 定义为：
$$H(P,Q)=-\sum _{x}P(x)\log Q(x)$$

【e.g.】 以分类任务为例。如图所示，一张图像经过神经网络处理，softmax函数处理得到概率分布 [0.775, 0.116, 0.039, 0.070] (预测概率分布)：

这张图像真实对应的类别向量为 [1, 0, 0, 0] (真实概率分布)。

模型预测的概率分布和真实概率分布之间的差异有多大呢？可以用交叉熵来衡量。

$$\begin{array}{rl}{L}_{CE}=& -\sum _{i=1}^4{t}_i\log (p_i)\\ & =-[1\ast \log (0.775)+0\ast \log (0.116)+0\ast \log (0.039)+0\ast \log (0.070)]\\ & =0.3677\end{array}$$

这是对于一个样本的交叉熵损失函数值，如果有$N$个样本，则最终的函数值为$N$个样本的损失值 累加求平均：
$$L_{CE}=-\frac{1}{N}\sum _{i=1}^N\sum _{k=1}^K{t}_{ik}\log (p_{ik})$$

2.2 二分类问题中的交叉熵

对于二分类问题，交叉熵损失函数可以简化为：
$$L=-[y\log \hat{y}+(1-y)\log (1-\hat{y})]$$

其中，$y$ 是真实标签，取值为0或1。 $\hat{y}$是模型预测的概率，范围在(0,1)之间。

• 当真实标签 $y=1$ 时，$L=-[\log \hat{y}]$，这表示如果真实标签是正类，我们只关心模型预测正类的概率 $\hat{y}$，希望它越接近于1越好。
• 当真实标签 $y=0$ 时，$L=-[\log (1-\hat{y})]$，这表示如果真实标签是负类，我们只关心模型预测负类的概率 $1-\hat{y}$，希望它越接近1越好。

2.3 多分类问题中的交叉熵

对于有 $K$ 个类别的多分类问题，交叉熵损失函数为：

$$L=-\sum _{i=1}^N\sum _{k=1}^K{y}_{ik}\log ({\hat{y}}_{ik})$$

其中， $N$ 为样本总数，$y_i$是真实的类别分布，使用one-hot编码。 $\hat{y}$ 是模型预测的第 $i$ 个类别的概率，通常通过softmax函数获得，满足 ${\sum }_{i=1}^K{\hat{y}}_i=1$.

上一节介绍的例子就是多分类的情况。

3. 交叉熵与KL散度

3.1 KL散度定义

KL散度(Kullback–Leibler Divergence) 又称为 相对熵(Relative entropy)，是对两个概率分布间差异的非对称性度量，即表示的是一个概率分布相对于另一个概率分布的差异程度。

设 $P(x)$，$Q(x)$ 是随机变量 $X$ 上的两个概率分布， $P(x)$ 是真实分布，$Q(x)$ 是拟合分布（预测分布）。

在离散随机变量的情形下，$P$ 相对于 $Q$ 的KL散度定义为：
$$\begin{array}{rl}KL(P\parallel Q)& =\sum P(x)\log \frac{P(x)}{Q(x)}\\ & =-\sum P(x)\log Q(x)+\sum P(x)\log P(x)\\ & =H(P,Q)-H(P)\end{array}$$

KL散度可以表示为交叉熵 $H(P,Q)$ 与真实数据分布的熵 $H(P)$ 的差。
在分类问题中，最小化KL散度等价于最小化交叉熵损失，因为数据集的熵$H(P)$是个定值，即训练数据的分布是固定的。

在连续随机变量的情形下，$P$ 相对于 $Q$ 的KL散度定义为：
$$KL(P\parallel Q)=\int P(x)\log \frac{P(x)}{Q(x)}dx$$

通俗来说，$P(x)$ 是真实分布（true distribution），$Q(x)$ 是一个用于拟合真实分布的近似分布（approximate distribution），通过尝试修改 $Q(x)$ 使得两者之间的$KL(P\parallel Q)$尽可能小，来实现 用 $Q(x)$ 拟合 $P(x)$.

因此，KL散度并不是对称的，衡量的是如果用分布 $Q$ 来替代真实分布 $P$，我们会额外损失多少信息。KL散度越大，说明 $Q$ 和 $P$ 之间的差异越大。

3.2 两类KL散度（了解）

在上面这个概率拟合的应用场景下（即确定了真实分布$P(x)$和拟合分布$Q(x)$两个角色之后），有前向KL散度和反向KL散度的定义：

• $KL(P\parallel Q)$ 前向KL散度（forward KL Divergence）
• $KL(Q\parallel P)$ 反向KL散度（reverse KL Divergence）

需要注意的是，只有确定了概率拟合的应用场景，这样的定义才是有意义的，否则两个公式只是改变符号表示之后的平凡结果。

【e.g.】 假设真实分布 $P$ 是混合高斯分布，由两个高斯分布的分量组成。

\quad\quad\quad 希望用普通的高斯分布 $Q$ 来近似 $P$ ，则有两种方案：

拟合效果如下图所示：

选择 $Q_1^{\ast }$：极小化前向KL损失下的拟合行为特性：寻找均值（Mean-Seeking Behaviour）

• 当 $P(x)$ 较大的时候 $Q(x)$ 也必须较大。如果 $P(x)$ 较大时 $Q(x)$ 较小，则 $P(x)\log \frac{P(x)}{Q(x)}$较大。
• 当 $P(x)$ 较小的时候 $Q(x)$ 可以较大，也可以较小，因此 $Q_1$会贴近 $P(x)$ 的峰值。由于峰值有两个，因此 $Q_1$ 无法偏向任意一个峰值，最终结果就是 其峰值在 $P(x)$ 的两个峰值之间，如图中第二张图片所示。

选择 $Q_2^{\ast }$：极小化反向KL损失下的拟合行为特性：搜寻模态（Mode-Seeking Behaviour）

• 当 $P(x)$ 较小的时候，$Q(x)$ 必须较小。如果 $P(x)$ 较小时 $Q(x)$ 较大，则 $Q(x)\log \frac{Q(x)}{P(x)}$较大。
• 当 $P(x)$ 较大的时候，$Q(x)$ 可以较大，也可以较小。因此 $Q_2$ 会贴近 $P(x)$ 的谷值。最终结果就是会贴合 $P(x)$ 峰值的任何一个。

【其他示例】 图(a)是拟合代价选择前向KL散度，图(b)和图©拟合代价选择反向KL散度（使用相同代价，但到达代价的不同局部极小值点的结果）。

一般绝大多数场合使用 $KL(P\parallel Q)$，因为当我们用分布 $Q$ 拟合 $P$ 时，我们希望对于常见的事件二者概率相差不大。

References

1. Pytorch常用的交叉熵损失函数CrossEntropyLoss()详解
2. 熵Entropy和交叉熵Cross-Entropy详解
3. 进阶详解KL散度
4. 信息论 - KL散度