Gaussian Splatting

开山论文：3D Gaussian Splatting for Real-Time Radiance Field Rendering

入门

3D GS的核心是一堆高斯点云，需要对点云的一些参数进行拟合

NeRF和 $\alpha$ 混合的体积渲染：
颜色 $C$ 是通过沿着射线的体积渲染得到的
$C=\sum\limits_{i=1}^{N}{T_i(1-\exp(-\sigma_i\delta_i))c_i}$
$T_i=\exp(-\sum\limits_{j=1}^{i-1}\sigma_i\delta_i)$
沿着间隔为 $\delta$ ，采集射线上密度 $\sigma$ ，透射率 $T$ 和颜色 $c$ 的样本，可以重写为:
$C=\sum\limits_{i=1}^{N}T_i\alpha_ic_i$
$\alpha_i=(1-\exp(-\sigma_i\delta_i))$ 和 $T_i=\prod\limits_{j=1}^{i-1}(1-\alpha_i)$
基于神经点的学习方法:
$C=\sum\limits_{i\in\mathcal{N}}c_i\alpha_i\prod\limits_{j=1}^{i-1}(1-\alpha_j)$
其中 $\mathcal{N}$ 是N个与像素重叠的有序点，用以计算一个像素的颜色 $C$ ， $c_i$ 是每个点的颜色， $\alpha_i$ 是通过计算协方差 $\Sigma$ 的二维高斯分布乘以学习的每点不透明度给出的
区别：图像生成模型相同，但是渲染算法不同
- NeRF是一种隐式表示，是连续表示，随机抽样代价较大
- 点是一种结构化、离散的表示方式
  3D高斯是可微的，能够很容易投影到2D平米，允许快速 $\alpha$ 混合渲染。

高斯函数(一维)：
$N_{\mu,\sigma}(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{(x-\mu)^2}{2\sigma^2})$
三维高斯函数：
$G_s(x)=(\frac{1}{\sqrt{2\pi}^3}\det{(\sum)})e^{-\frac{1}{2}(x-\mu)^T\sum^{-1}(x-\mu)}$
其中， $x=[a,b,c]^T$ ， $\mu$ 是椭球中心，协方差矩阵表示椭球在三轴上的伸缩和旋转，
$$\sum=\begin{bmatrix}\sigma_a^2&Cov(a,b)&Cov(a,c)\\Cov(b,a)&\sigma_b^2&Cov(b,c)\\Cov(c,a)&Cov(c,b)&\sigma_c^2\end{bmatrix}$$
协方差的特征向量就是椭球对称轴。

Word Flow

由输入，创建一组三维高斯分布，由位置( $mean$ )、协方差矩阵和不透明度( $\alpha$ )定义。
辐射场的各个方向的颜色由球谐波(Sphere Harmonics) 表示。
高斯函数：
$G(x)=e^{\frac{1}{2}(x)^T\sum^{-1}(x)}$
在 $\alpha$ 混合中，这个高斯将与 $\alpha$ 相乘，其中心点均值为 $\mu$
3D向2D投影渲染，，给定观察变换 $W$ ，相机坐标中的协方差矩阵为：
$\sum^{'}=JW\sum W^TJ^T$
$J$ 是射影变换的仿射近似的雅可比矩阵。可以直接优化 $\sum$ 来获得三维高斯分布，但协方差矩阵只有在正半定的时候才具有物理意义。使用梯度下降不能轻易约束地产生有效的矩阵，并且更新步骤和梯度可以很容易地创建无效的矩阵。
因此，使用更加直观的方法来进行处理。三维高斯分布的协方差 $\sum$ 类似于描述椭球体的构型，给定一个比例矩阵 $S$ 和旋转矩阵 $R$ ，可以得到相应的 $\sum$ ：
$\sum=RSS^TR^T$
为了独立优化，分别存储用于缩放的三维向量 $s$ 和表示旋转的四元素 $q$ 。
交叉优化的参数包括：
1. 点的三维位置 $p$
2. 协方差矩阵 $\sum$
3. 不透明度 $\alpha$
4. 球谐函数
自适应控制：通过复制高斯点解决重建不足问题，通过分裂高斯点解决重建过度问题