GFF: Gated Fully Fusion for Semantic Segmentation门控融合语义分割-论文阅读笔记

摘要：

语义分割通过对每个像素密集预测其类别，生成对场景的全面理解。深度卷积神经网络的高级特征已经在语义分割任务中证明了它们的有效性，然而高级特征的粗分辨率经常导致对小/薄物体的结果不佳，而这些物体的细节信息非常重要。很自然地，我们考虑引入低级特征来补偿高级特征中丢失的细节信息。不幸的是，简单地结合多级特征会因为它们之间的语义鸿沟而受到影响。在本文中，我们提出了一种新的架构，名为门控全融合（Gated Fully Fusion，GFF），以全连接的方式使用门控机制选择性地融合来自多个级别的特征。具体来说，每个级别的特征都通过具有更强语义的高级特征和具有更多细节的低级特征来增强，并且使用门控来控制有用信息的传播，这显著减少了融合过程中的噪声。我们在四个具有挑战性的场景解析数据集上取得了最先进的结果，包括Cityscapes、Pascal Context、COCO-stuff和ADE20K。

PS:

深度卷积神经网络（Deep Convolutional Neural Networks，DCNNs）的高级特征通常指的是在网络的较深层次中提取的特征。这些特征往往具有以下特点：

1. 语义信息丰富：高级特征能够捕捉到图像中更抽象的概念和对象的高级属性，如物体的类别和场景的上下文信息。

2. 空间分辨率低：由于网络中的池化（pooling）和卷积操作，高级特征图的空间分辨率通常较低，这意味着它们在描述图像细节方面的能力有限。

3. 全局上下文感知：高级特征能够提供全局上下文信息，有助于理解图像的整体内容和结构。

4. 对小物体和细节不敏感：由于分辨率较低，高级特征在识别图像中的小物体或细节方面表现不佳。

在语义分割任务中，高级特征的这些特性使得它们在处理大场景和识别高级概念时非常有效，但在需要精细细节的任务中，如小物体的识别或边缘的精确定位，它们的性能可能会下降。因此，研究者们通常会尝试将高级特征与低级特征（如来自网络浅层的特征，具有高空间分辨率）结合起来，以提高分割的精度和细节。GFF（Gated Fully Fusion）架构就是其中一种尝试，它通过门控机制选择性地融合多级特征，以增强特征表示并减少融合过程中的噪声。

空间分辨率（Spatial Resolution）是指图像或特征图中能够区分的最小细节或最小物体的大小。在深度学习和计算机视觉中，空间分辨率是一个重要的概念，因为它直接影响到模型对图像细节的捕捉能力。

在深度卷积神经网络中，空间分辨率的变化通常由以下几个因素决定：

1. 卷积层：卷积操作本身不会改变特征图的空间分辨率，除非使用步长（stride）大于1的卷积，这会导致特征图的尺寸减小。

2. 池化层：池化（Pooling）操作，尤其是最大池化（Max Pooling）和平均池化（Average Pooling），通常会减小特征图的空间尺寸，从而降低其空间分辨率。

3. 步长：卷积和池化操作中的步长决定了操作的覆盖范围，步长越大，特征图的空间尺寸减小得越快。

4. 网络深度：随着网络深度的增加，特征图的空间分辨率通常会逐渐降低，因为每经过一层卷积或池化，特征图的尺寸都会减小。

5. 上采样：在某些网络结构中，如U-Net或FPN（Feature Pyramid Network），会使用上采样（Upsampling）操作来增加特征图的空间分辨率，以便更好地恢复图像细节。

引言：

语义分割密集地预测图像中每个像素的语义类别，这种全面理解图像的能力对于许多基于视觉的应用非常有价值，例如医学图像分析（Ronneberger, Fischer, 和 Brox 2015）、遥感（Kampffmeyer, Salberg, 和 Jenssen 2016）以及自动驾驶（Xu et al. 2017）。然而，正如图1所示，为每个像素精确预测标签是具有挑战性的，因为像素可能来自微小或大型物体、远或近的物体，以及物体内部或物体边界。

作为一个语义预测问题，语义分割的基本任务是为每个像素生成高级表示，即一个高级且高分辨率的特征图。鉴于卷积神经网络（ConvNets）在从数据中学习高级表示方面的能力，语义分割通过利用这种高级表示取得了很大进展。然而，卷积神经网络生成的高级表示是伴随着降低分辨率进行的，因此高分辨率和高级表示之间的平衡是一个关键问题。

这些特征图具有不同的属性：高级特征图能够以粗略的方式正确预测大部分大模式上的像素，这在当前的语义分割方法中被广泛使用；而低级特征图只能预测小模式上的少量像素。简单地将高级特征图和高分辨率特征图结合起来，会将有用信息淹没在大量无用信息中，无法得到信息丰富的高级和高分辨率特征图。因此，需要一个先进的融合机制，有选择性地从不同的特征图中收集信息。

为了实现这一点，提出了门控全融合（Gated Fully Fusion，GFF），它使用门控机制，这是一种通常用于从时间序列中提取信息的操作，来逐像素地衡量每个特征向量的有用性，并相应地通过门控制信息的传播。每层的门的设计原则是要么发送有用的信息到其他层，要么在本层信息无用时从其他层接收信息。通过这种方式，GFF能够显著减少融合过程中的噪声，并生成具有高分辨率和高级语义信息的特征图。

此外，大感受野内的上下文信息对于语义分割也非常重要，这一点已经被PSPNet（Zhao et al. 2017）、ASPP（Chen et al. 2018b）和DenseASPP（Yang et al. 2018）证明。因此，我们在GFF之后也对上下文信息进行了建模，以进一步提高性能。具体来说，我们提出了一个密集特征金字塔（Dense Feature Pyramid，DFP）模块，将上下文信息编码到每个特征图中。DFP重用每个特征级别的上下文信息，旨在增强上下文建模部分，而GFF在骨干网络上操作以捕获更详细的信息。将这两个组件结合在一个端到端的网络中，我们在四个场景解析数据集上取得了最先进的结果。

我们工作的主要贡献可以总结为三点：

• 首先，我们提出了门控全融合来从多级特征图中生成高分辨率和高级特征图，以及密集特征金字塔来增强多级特征图的语义表示。
• 其次，通过不同层学习的门的详细分析和可视化直观地展示了GFF中的信息调节机制。

ps：语义分割的目标是为图像中的每个像素分配一个类别标签，从而能够识别和区分图像中的不同物体和场景。这种技术可以提供图像的详细理解，因为它不仅识别出图像中的主要物体，还能精确地知道每个像素属于哪个物体或场景的哪一部分。

相关工作：

上下文建模 尽管卷积神经网络中的高级特征图在语义分割上显示出了有希望的结果（Long, Shelhamer, 和 Darrell 2015），但它们的接受域大小仍然不足以捕获大物体和区域的上下文信息。因此，上下文建模成为语义分割中的一个实用方向。PSPNet（Zhao et al. 2017）使用空间金字塔池化来聚合多尺度上下文信息。Deeplab系列（Chen et al. 2015; 2018b; 2017）开发了扩张空间金字塔池化（ASPP），通过具有不同扩张率的扩张卷积层来捕获多尺度上下文信息。与PSPNet和Deeplab中采用的并行聚合不同，Yang et al.（Yang et al. 2018）和Bilinski et al.（Bilinski and Prisacariu 2018）遵循密集连接（Huang et al. 2017）的思想，以密集的方式编码上下文信息。在（Peng et al. 2017）中，直接使用分解的大型滤波器来增加接受域大小，以进行上下文建模。SVCNet（Ding et al. 2019）为每个像素生成一个尺度和形状变化的语义掩码，以限制其上下文区域，2018年），根据在投影特征空间中定义的相似性，从所有位置收集上下文信息。同样，DANet（Fu et al.2018）、CCNet（Huang et al.2018）、EMAnet（Li et al.2019）和ANN（Zhu et al.2019）使用非局部风格操作符（Wang et al. 2018）根据像素间的亲和性从整个图像中聚合信息。

多级特征融合 除了缺乏上下文信息外，顶层还缺乏精细的细节信息。为了解决这个问题，在FCN（Long, Shelhamer, 和 Darrell 2015）中，使用中间层的预测来改善详细结构的分割，而超列（Hariharan et al. 2015）直接结合多层特征进行预测。U-Net（Ronneberger, Fischer, 和 Brox 2015）在编码器和解码器之间添加跳跃连接以重用低级特征，（Zhang et al. 2018b）通过将高级特征融合到低级特征中来改进U-Net。特征金字塔网络（FPN）（Lin et al. 2017b）使用U-Net的结构，并从特征金字塔的每个级别进行预测。DeepLabV3+（Chen et al. 2018c）通过结合低级特征来改进其先前版本的解码器。在（Lin et al.2018）和（Ding et al.2018）中，他们提出在特征金字塔中局部融合每两个相邻的特征图，直到只剩下一个特征图。这些融合方法在特征金字塔中局部操作，没有意识到所有要融合的特征图的有用性，这限制了有用特征的传播。

门控机制 在深度神经网络中，特别是对于循环网络，门通常被用来控制信息传播。例如，LSTM（Hochreiter 和 Schmidhuber 1997）和GRU（Cho et al. 2014）是两个典型的案例，其中使用不同的门来处理长期记忆和依赖关系。高速公路网络（Srivastava, Greff, 和 Schmidhuber 2015）使用门使得训练深度网络成为可能。为了改进场景解析和深度估计的多任务学习，PAD-Net（Xu et al.2018）提出使用门来融合从多个辅助任务训练的多模态特征。DepthSeg（Kong 和 Fowlkes 2018）提出深度感知门控模块，该模块使用深度估计来自适应地修改高级特征图中的池化场大小。GSCNN（Takikawa et al.2019）使用门通过包括另一个形状流来编码边缘特征到最终表示中，以学习精确的边界信息。

我们的方法与上述方法有关并受到启发，与它们不同的是，多级特征图通过门控机制同时融合，并且结果方法超越了最先进的方法。

方法

在本节中，我们首先概述了多级特征融合的基本设置和三种基线融合策略。然后，我们介绍了所提出的多级融合模块（GFF）以及带有上下文建模模块（DFP）的整个网络。

多级特征融合

给定从某些骨干网络（例如ResNet）提取的L个特征图 ，其中特征图按照它们在网络中的深度排序，语义信息随着深度增加而增加，但细节信息减少。分别是第i个特征图的高度、宽度和通道数。由于下采样操作，较高层的特征图分辨率较低，即 。在语义分割中，通常使用具有原始输入图像1/8分辨率的顶层特征图 ，因为它具有丰富的语义信息。的主要限制是其空间分辨率低，没有详细信息，因为输出需要与输入图像具有相同的分辨率。相比之下，来自浅层的低级特征图具有高分辨率，但语义信息有限。直观上，结合多个层级特征图的互补优势将实现高分辨率和丰富语义的目标，这个过程可以抽象为一个融合过程f，即，

其中是第l层的融合特征图。为了简化以下方程中的符号，忽略了双线性采样和 1X1 卷积，这些操作用于重塑右侧的特征图，使融合后的特征图与左侧的特征图具有相同的大小。连接（Concatenation）是一种直接的操作，用于聚合多个特征图中的所有信息，但它将有用信息与大量非信息特征混合在一起。加法（Addition）是另一种简单的特征图组合方式，通过在每个位置添加特征来实现，但它也遭受与连接类似的的问题。FPN（Lin et al. 2017b）通过自顶向下的路径和横向连接进行融合过程。这三种融合策略可以翻译为：

1. 连接（Concatenation）：这是一种直接的操作，用于聚合多个特征图中的所有信息，但它会将有用信息与大量非信息特征混合在一起。
2. 加法（Addition）：这是另一种简单的特征图组合方式，通过在每个位置添加特征来实现，但它也遭受与连接类似的问题。
3. FPN（Feature Pyramid Network）：通过自顶向下的路径和横向连接进行融合过程。

这些策略都是为了解决高层特征图分辨率低和低层特征图语义信息有限的问题，通过融合不同层级的特征图来提高语义分割的性能：

这些基本融合策略的问题是特征在不测量每个特征向量的有用性的情况下融合在一起，在融合过程中将大量无用的特征与有用的特征混合。

Gated Fully Fusion（门控全融合）

多层次特征融合的基本任务是在大量无用信息的干扰下，将有用的信息聚集在一起。门控是一种成熟的机制，可以测量特征图中每个特征向量的有用性，并相应地聚合信息。本文基于简单的基于加法的融合，通过用门控制信息流，设计了门控全融合（GFF）。。具体来说，每个层级l都与一个门控图 相关联。利用这些门控图，基于加法的融合形式上定义为：

其中，·表示在通道维度上的逐元素乘法广播， G l = sigmoid(w i ∗ X i)由一个卷积层参数化来估计 总共有L个门控图，其中L等于特征图的数量。 表示除了第l层之外的其他层级特征图的加权和。门控图G的大小与该层特征图Xl的大小相同，根据可学习权重和特征图进行卷积操纵，根据sigmoid函数，生成门控图。详细操作可见图2。

结论

在这项工作中，我们提出门控完全融合（GFF）来完全融合由学习门映射控制的多层次特征图。该新模块搭建了低语义高分辨率和高语义低分辨率之间的桥梁。我们探索了所提出的语义分割任务的GFF，并获得了新的最先进的结果，四个具有挑战性的场景解析数据集。特别是，我们发现缺失的低级特征可以融合到金字塔的每个特征层次中，这表明我们的模块可以很好地处理场景中的小的对象。