即插即用篇 | YOLOv8 引入维度互补注意力混合Transformer模块 | 轻量级互补注意力网络：RAMiT引领图像修复新突破

本改进已同步到YOLO-Magic框架！

摘要：虽然许多近期的研究在图像修复（IR）领域取得了进展，但它们通常存在参数数量过多的问题。另一个问题是，大多数基于Transformer的图像修复方法只关注局部或全局特征，导致感受野有限或参数不足的问题。为了解决这些问题，我们提出了一种轻量级网络——互补注意力混合Transformer（RAMiT）。该网络使用我们提出的维度互补注意力混合Transformer（D-RAMiT）块，该块并行计算具有不同多头数的二维自注意力。二维自注意力机制相互补充各自的缺点，然后进行混合。此外，我们引入了一个分层互补注意力混合（H-RAMi）层，该层在保持高效的分层结构的同时，弥补了像素级信息的损失并利用了语义信息。此外，我们重新审视并修改了MobileNet V2，以便将高效卷积应用于我们提出的组件。实验结果表明，RAMiT在多个轻量级图像修复任务（包括超分辨率、低光增强、去雨、彩色去噪和灰度去噪）上达到了最新的性能。

论文地址：