slam系列4：nerf和3dgs

常用的3维表示法：

NeRF属于是density的模型，模型的参数如下：

传统的 3D 模型表示方法，如 离散的Mesh 和点云，以及连续的 Nerf，通常面临着一个主要问题：随机采样过程中产生的噪声，这直接影响了渲染质量。3DGS 是在离散和连续间的一个平衡：在高斯球内部是连续的、可微的；在整个空间中，每个高斯球又是离散的。

1. NeRF基本概念

1.1 建模方法

训练一个函数，将位置和摄像头参数转化为颜色和体密度

然后使用体渲染技术，生成图片：

神经网络是用了一个9层256通道的全连接MLP，姑且算是神经网络。训练过程如下：

1.2 Instant NGP

Instant NGP相对于NeRF的核心改进在于它采用了“多分辨率哈希编码” (Multi-resolution hash encoding) 的数据结构。
你可以理解为 Instant NGP 把原始 NeRF 中神经网络的大部分参数扔掉，换成一个小得多的神经网络；同时额外训练一组编码参数 (feature vectors)，这些编码参数是存储在网格的顶点上的，这样的网格一共有 层，它们按照分辨率从低到高，用于学习场景不同层次的细节。在每次训练时，小神经网络的参数和每层网格上只有点周围的 8 个顶点中的编码参数会被更新。
Instant NGP 的另一个重要的工程优化是将整个网络实现在一个 CUDA kernel 中 (Fully-fused MLP)，使得网络的所有计算都在 GPU 的 local cache 中进行。据论文所称这会带来 10x 的效率提升。

2. 3dgs

2.1 建模方法

3D Gaussian Splatting 干了什么：使用3D Gaussian球表示三维模型，并通过 Splatting 技术渲染出来。
在 NeRF 里去表达一个三维场景的信息时，使用的是三维场景的点和它的体密度值σ、颜色C。3DGS内不再用点表达，而是使用 3D 高斯组件替代了点，所以在空间中的表达是一堆堆的3D高斯。这些3D高斯的信息没有保存在神经网络里，而是存在了硬盘上，所以它是一个显式的表达场景。
3D高斯体参数包括：

2.1.1 谐波函数

球面谐波是一种类似高斯展开的在极坐标系上的函数，用来拟合空间体


作为对比，我们来看另一种球面高斯函数：

和SH定死的基函数相比，SG的特点就是自由度极高：基函数用几个、怎么分布、胖瘦如何，都随意。然而SH也有很多长处是SG没有的，比如SH除了正交性还有旋转不变性。

反馈到实际高光计算上，就会发现SG不能很好地保持高光形状。基函数定义方向上的高光形状能保持的比较好，但如果位置在几个基函数的角度之间，高光形状就会比较散了。

2.1.2 协方差

协方差用于控制高斯体各方向的尺寸。

2.1.3 splating

Splatting是一种传统的3D->2D的光栅化渲染方式。
3DGS首先将这些3D高斯投影到基于像素的图像平面上，这一过程被称为“splatting”。然后，3DGS对这些高斯进行排序，并计算每个像素的值。

给定像素位置 $x$，通过视图变换 $W$，可以计算与所有重叠高斯体的距离，即这些高斯体的深度，形成高斯体的排序列表 $N$。然后，进行Alpha Blending，也就是混合 alpha 合成来计算整体图像的最终颜色：

2.1.4 α blending

多个高斯体splat到平面上，最终形成的图形需要使用α blending进行叠加。

2.1.5 光栅渲染

2.2 初始化点云

初始化时的输入量使用的是 COLMAP 等 SFM 方式输出的点云，这里与 NeRF 就完全不同了，NeRF 使用的 仅是 COLMAP 等输出的相机位姿，而 3DGS 中，这些点云是有用的。3DGS 将根据这些点云进行初始化：基于这些点云的位置，会在每一个位置上放置一个高斯球，系数随机。

2.3 训练过程

3DGS 从近到远每个球投下来以后都形成了一个图像区，那么在重叠区域就可以进行光栅化的融合了。每个点都进行融合以后就可以得到图像。为了避免为每个像素推导高斯系数的成本计算，3D GS将精度从像素级转移到patch级细节。每个瓦片包括16×16个像素。3D GS进一步确定哪些tiles与这些投影的高斯图相交，然后按照tile进行排序，最后并行地对tile进行计算：

NeRF 内逐像素进行计算，即采集一个 batch 的像素，送进去训练，然后输出损失；而在 3DGS 内，每次采集一小批图，以图像为单位进行损失计算。

训练图中，上面的分支更新 3D 高斯椭球体的属性，下支实现 3D 高斯椭球体的克隆和分裂等：

3. 软件

通用软件splatviz，见https://github.com/Florian-Barthel/splatviz。支持实时编辑和分析。通过利用Python GUI库pyimgui,splatviz能够在渲染前直接操作高斯对象,从而实现无限的编辑和可视化可能性。
存储为ply文件，压缩文件为yml文件。