SAM 2:分割图像和视频中的任何内容

文章目录

• 摘要
• 1 引言
• 2 相关工作
• 3 任务：可提示视觉分割
• 4 模型
• 5 数据
• • 5.1 数据引擎
  • 5.2 SA-V数据集
• 6 零样本实验
• • 6.1 视频任务
  • • 6.1.1 提示视频分割
    • 6.1.2 半监督视频对象分割
    • 6.1.3 公平性评估
  • 6.2 图像任务
• 7 与半监督VOS的最新技术的比较
• 8 数据和模型消融
• • 8.1 数据消融
  • 8.2 模型架构消融
  • • 8.2.1 容量消融
    • 8.2.2 相对位置编码
    • 8.2.3 记忆架构消融
• 9 结论
• 10 致谢
• 附录
• • A PVS任务的细节
  • B 局限性
  • C SAM 2细节
  • • C. 1 架构
    • C. 2 训练
    • • C.2.1 预训练
      • C.2.2 全面训练
    • C. 3 速度基准测试
  • D 数据细节
  • • D. 1 SA-V数据集细节
    • D.2 数据引擎细节
    • • D.2.1 注释协议
      • D.2.2 数据引擎阶段比较
  • E 关于零样本转移实验的更多细节
  • E.1 零样本视频任务
  • • • E.1.1 视频数据集细节
      • E.1.2 交互式离线和在线评估细节
    • E.1.3 半监督VOS评估细节
    • • E.1.4 SAM+XMem++和SAM+Cutie基线细节
    • E.2 DAVIS交互式基准测试
    • E.3 零样本图像任务
    • • E.3.1 数据集细节
      • E.3.2 详细的零样本实验
  • F 在半监督VOS中与最新技术的比较的更多细节
  • G 模型、数据和注释卡片
  • • G. 1 模型卡片
    • G. 2 SA-V数据集卡片
    • G.3 数据注释卡片