对极几何

DUSt3R

DUSt3R在描述相对位姿估计都时候提到

One way is to perform 2D matching and recover intrinsics as described above, then estimate the Epipolar matrix and recover the relative pose

相对位姿估计的一种方法是执行2D匹配并恢复如上所述的内部函数，然后估计极线矩阵并恢复相对姿态，另一种方法是直接比较点地图。当然，DUSt3R采用的是后者。

考虑如下场景：

主要思想是：

假设世界坐标系下点坐标为 $P$ ，像素坐标系下点坐标为 $p$ ，相机内参矩阵为 $K$ ，相机外参矩阵为 $R, t$ ，则有：

dp=KP

其中 $d$ 为齐次化矩阵，对于两个相机，有：

d_0p_0=KP

d_1p_1=KP

已知 $R, t$ ，则有：

d_1p_1=K(RP+t)

令 $x=K^{-1}p$ ，则有：

d_0x_0=P

d_1x_1=RP+t

即：

d_1x_1=R(d_0x_0)+t

两边同时叉乘 $t$ ，有：

t\times d_1x_1=t\times R(d_0x_0)

t\times x_1=t\times Rx_0

两边同时左乘 $x^T_1$ ，有：

x^T_1t\times x_1=x^T_1t\times Rx_0

得到：

0=x^T_1t\times R^Tx_0

由对极约束，本征矩阵 $E$ 满足：

E=t\times R

x^T_1Ex_0=0

多组点可以求得 $E$ ，然后对 $E$ 进行SVD分解，得到 $R, t$ 。

基础矩阵 $F$ 满足：

F=K^{-T}EK^{-1}

是在本征矩阵基础上加入了相机内参矩阵的约束。