Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering

这篇论文名为《Scaffold-GS: 用于视角自适应渲染的结构化3D高斯（Structured 3D Gaussians for View-Adaptive Rendering）》, 其主要工作是通过提出一种新的基于锚点的3D高斯散射（3D Gaussian Splatting）方法来实现高效的视角自适应渲染。

主要工作和贡献：
锚点初始化与局部高斯生成：论文引入了一种使用锚点（Anchor Points）来分配局部3D高斯的方案，锚点通过从结构化运动（SfM）点云中初始化。每个锚点生成一组具有学习偏移量的神经高斯，这些高斯的属性（如不透明度、颜色、旋转、缩放）是基于锚点特征以及视角位置动态预测的。

锚点的生长与修剪策略：为了提升对场景的覆盖率，Scaffold-GS 设计了锚点的生长和修剪策略，通过这些策略可以在模型训练中动态调整锚点的位置和数量，从而减少冗余高斯，提高渲染的鲁棒性。

高效的渲染性能：通过在推理阶段仅对视景体内的锚点进行高斯生成，并利用基于不透明度的过滤步骤，Scaffold-GS 在渲染速度和存储需求方面显著优于原始的3D-GS方法，同时保持了相似的渲染质量（大约100 FPS）。

实验结果与性能评估：通过对多个数据集的实验，论文表明 Scaffold-GS 在复杂的大规模场景、光照变化、细节恢复等方面比原始3D-GS表现得更好。在多尺度内容、纹理缺乏的区域以及强光照效果下，Scaffold-GS 展现出更强的适应性。

主要创新点：
视角自适应性：通过动态地从锚点预测3D高斯的属性，Scaffold-GS 能够根据视角的变化调整每个高斯的表现，使得模型在渲染新的视角时更加鲁棒。
多层次场景表示：利用锚点引导3D高斯的分布，形成了一种多层次且具有区域感知的场景表示，能够更好地捕捉场景的几何结构。
与其他方法的比较：
相较于传统的3D-GS，Scaffold-GS 通过利用场景结构进行锚点分布，减少了高斯的冗余，提高了渲染的速度和模型的紧凑性。
在与原始3D-GS及其他主流方法（如 Mip-NeRF360、Plenoxels）的比较中，Scaffold-GS 在图像质量（PSNR、SSIM、LPIPS）、渲染速度（FPS）和存储效率（MB）等方面表现得更好。
总结来说，Scaffold-GS 提出了一个基于锚点的高效视角自适应渲染方法，通过动态调整高斯核的属性以及锚点的生长和修剪策略，解决了传统方法中对新视角适应性差和冗余高斯的问题，达到了更高质量和更高效的渲染效果。

摘要：

神经渲染方法在学术界和工业界的各种应用中极大地推进了照片级真实感3D场景渲染。最近的3D高斯散射方法结合了基于原始几何表示和体积表示的优点，实现了最先进的渲染质量和速度。然而，这种方法往往会生成大量冗余的高斯核，它们试图拟合每个训练视角，忽视了场景的底层几何结构。因此，生成的模型对显著的视角变化、无纹理区域和光照效果不够鲁棒。我们引入了Scaffold-GS，通过使用锚点来分布局部的3D高斯，并基于视角方向和视景体中的距离实时预测其属性。我们开发了锚点生长和修剪策略，以基于神经高斯的重要性来可靠地改善场景覆盖率。我们的研究表明，该方法有效地减少了冗余高斯，同时提供高质量的渲染效果。我们还展示了在处理具有不同细节层次和视角相关观察的场景时增强了适应能力，并且不牺牲渲染速度。项目页面：https://city-super.github.io/scaffold-gs/

重要词汇的中英文对照：

1. Neural Rendering - 神经渲染
2. Photo-realistic - 照片级真实感
3. 3D Gaussian Splatting - 3D高斯散射
4. State-of-the-art - 最先进的
5. Primitive-based Representations - 基于原始几何的表示
6. Volumetric Representations - 体积表示
7. Redundant Gaussians - 冗余高斯
8. Scene Geometry - 场景几何
9. View Frustum - 视景体
10. Anchor Points - 锚点
11. On-the-fly Prediction - 实时预测
12. Anchor Growing and Pruning Strategies - 锚点生长和修剪策略
13. Scene Coverage - 场景覆盖率
14. View-dependent Observations - 视角相关观察
15. Rendering Speed - 渲染速度
16. Levels-of-detail - 细节层次