机器学习和深度学习中的logit

系列博客目录

在图像分类任务中，“logit” 是指模型在输出层的未经过激活函数（如 Softmax 或 Sigmoid）处理的原始输出值。下面通过一个具体的例子来说明 logit 的概念，以及它如何用于图像分类任务。

背景

假设我们有一个简单的图像分类任务，目标是对输入图像进行 3 类分类（例如，类别 A、类别 B 和类别 C）。神经网络模型的最后一层是一个全连接层，它输出 3 个 logit 值（每个类别对应一个 logit）。

这些 logit 值通常被解释为“未归一化的分数”，用于衡量输入图像属于某个类别的可能性大小。

模型假设

1. 输入图像特征：假设经过卷积网络处理后，我们得到了特征向量 $\mathbf{f}=[0.5,0.8,1.2]$。
2. 最后一层权重和偏置：
   • 权重矩阵 (W)：
     $$W=\left[\begin{array}{ccc}1.0& -1.0& 0.5\\ 0.8& 0.5& -0.3\\ -0.5& 1.2& 1.0\end{array}\right]$$
   • 偏置向量 (b = [0.2, -0.1, 0.5])。

计算 logit

logit 值通过以下公式计算：
$$\mathbf{z}=W\cdot \mathbf{f}+b$$
其中：

• $\mathbf{z}$ 是 logit 值（模型的原始输出）。
• $W$ 是权重矩阵。
• $\mathbf{f}$ 是输入特征。
• $b$ 是偏置。

逐步计算：

1. 点积计算：

   • 对类别 A：
     $z_1=(1.0\cdot 0.5)+(-1.0\cdot 0.8)+(0.5\cdot 1.2)=0.5-0.8+0.6=0.3$
   • 对类别 B：
     $z_2=(0.8\cdot 0.5)+(0.5\cdot 0.8)+(-0.3\cdot 1.2)=0.4+0.4-0.36=0.44$
   • 对类别 C：
     $z_3=(-0.5\cdot 0.5)+(1.2\cdot 0.8)+(1.0\cdot 1.2)=-0.25+0.96+1.2=1.91$

2. 加上偏置：

   • 对类别 A：
     $z_1=0.3+0.2=0.5$
   • 对类别 B：
     $z_2=0.44-0.1=0.34$
   • 对类别 C：
     $z_3=1.91+0.5=2.41$

最终 logit 值为：
$\mathbf{z}=[0.5,0.34,2.41]$

解释 logit

这些 logit 值 $[0.5,0.34,2.41]$ 表示模型对每个类别的未归一化预测分数：

• 类别 A 的分数为 $0.5$。
• 类别 B 的分数为 $0.34$。
• 类别 C 的分数为 $2.41$。

这些分数尚未转换为概率，因此不能直接用于分类决策。

从 logit 转为概率

logit 值可以通过 Softmax 激活函数 转换为概率分布：
$$\text{Softmax}(z_i)=\frac{\exp (z_i)}{{\sum }_{j=1}^3\exp (z_j)}$$

进行逐步计算：

1. 计算每个类别的指数值：

   • 对类别 A：
     $\exp (0.5)\approx 1.65$
   • 对类别 B：
     $\exp (0.34)\approx 1.41$
   • 对类别 C：
     $\exp (2.41)\approx 11.14$

2. 计算指数值的总和：
   $$\sum _{j=1}^3\exp (z_j)=1.65+1.41+11.14=14.2$$

3. 计算每个类别的概率：

   • 对类别 A：
     $P(A)=\frac{\exp (0.5)}{14.2}=\frac{1.65}{14.2}\approx 0.116$
   • 对类别 B：
     $P(B)=\frac{\exp (0.34)}{14.2}=\frac{1.41}{14.2}\approx 0.099$
   • 对类别 C：
     $P(C)=\frac{\exp (2.41)}{14.2}=\frac{11.14}{14.2}\approx 0.785$

最终概率分布为：
$$P=[0.116,0.099,0.785]$$

分类决策

根据 Softmax 的输出概率，类别 C 的概率最大 ($P(C)=0.785$)，因此模型将输入图像分类为类别 C。

总结

1. logit 值是模型在最后一层的原始输出值，未经过激活函数处理。例如，本例中的 logit 值为 $[0.5,0.34,2.41]$。
2. logit 值可以通过 Softmax 函数 转换为概率分布，用于分类任务。
3. 通过计算，最终概率分布为 $[0.116,0.099,0.785]$，模型将图像分类为类别 C。