InstantSplat

github连接：InstantSplat

InstantSplat，这是一种高效的新视图合成（NVS）方法，专门设计用于处理大规模场景、稀疏视图和无姿态条件。InstantSplat通过结合3D高斯溅射（3D-GS）和端到端密集立体模型（DUSt3R）的优势，能够在不到一分钟内从稀疏和无姿态的图像中重建出高质量的3D场景，并生成准确的新视图。

算法流程

1. 使用DUSt3R生成稠密点云

2. 基于生成的稠密点云使用3D-GS进行优化，具体是进行1000次迭代，但不进行稠密化、分裂、重置透明度等操作

3. 联合优化姿势和属性
   根据公式

   $$S*, T*={\arg \min}{S, T} \sum{v\in N}\sum^{HW}_{i=1}||\widetilde{C}_v^i(S, T)-C_v^i(S, T)||+\lambda \cdot ||T-T0||$$

   其中$S$代表3D高斯点集合，$T$代表相机外参，$C$代表渲染函数，$T0$代表初始值，上述公式保证了在优化位姿的时候不会过于远离初始值。

4. 在测试视图上对齐相机姿态
   在实际应用中，测试视图的相机姿态可能是未知的或带有噪声的，这会影响最终渲染图像的准确性和一致性。首先，在训练视图上训练了一个3DGS模型，并保持3DGS模型在测试阶段是冻结的，即不对其参数进行进一步的调整。然后，他们专注于单独优化测试视图的相机姿态，目标是最小化由这个模型渲染的图像与实际测试视图之间的光度差异。这个过程涉及到调整相机姿态，直到渲染出的图像与真实图像在视觉上尽可能相似。