估计----2D射影变换

讲怎么求平面射影变换H

直接线性变换(DLT)算法

• 利用x′i×Hxi=0$x_i^{\prime }\times H{x}_i=0$，hiT$h^{iT}$是H$H$的第i$i$行。一般选择前2行
  

  ⎡⎣⎢⎢0Tw′ixTi−y′ixTi−w′ixTi0Tx′ixTiy′ixTi−x′ixTi0T⎤⎦⎥⎥⎡⎣⎢h1h2h3⎤⎦⎥=0$$\left[\begin{array}{ccc}{0}^T& -w_i^{\prime }{x}_i^T& y_i^{\prime }{x}_i^T\\ w_i^{\prime }{x}_i^T& 0^T& -x_i^{\prime }{x}_i^T\\ -y_i^{\prime }{x}_i^T& x_i^{\prime }{x}_i^T& 0^T\end{array}\right]\left[\begin{array}{c}{h}^1\\ h^2\\ h^3\end{array}\right]=0$$

• 求解H$H$，解是A的最小奇异值的单位奇异矢量
  

  min ||Ah||, s.t. ||h||=1$$min||Ah||,s.t.||h||=1$$

不同的代价函数

• 代数距离，DLT的解在次代价函数下取得最优解
  

  dalg(x′i,Hxi)2=||εi||2=||[0Tw′ixTi−w′ixTi0Ty′ixTi−x′ixTi]h||2$$d_{alg}(x_i^{\prime },H{x}_i{)}^2=||{\epsilon }_i|{|}^2=||\left[\begin{array}{ccc}{0}^T& -w_i^{\prime }{x}_i^T& y_i^{\prime }{x}_i^T\\ w_i^{\prime }{x}_i^T& 0^T& -x_i^{\prime }{x}_i^T\end{array}\right]h|{|}^2$$

• 几何距离
  

  单图像误差：∑id(x′i,Hx¯i)2$$单图像误差：\sum _{i}d(x_i^{\prime },H{\overline{x}}_i{)}^2$$
  
  
  对称转移误差：∑id(xi,H−1x′i)2+d(x′i,Hxi)2$$对称转移误差：\sum _{i}d(x_i,H^{-1}{x}_i^{\prime }{)}^2+d(x_i^{\prime },H{x}_i{)}^2$$

• 重投影误差
  

  ∑id(xi,x^i)2+d(x′i,x^′i)2    s.t x^′i=H^x^i$$\sum _{i}d(x_i,{\hat{x}}_i{)}^2+d(x_i^{\prime },{\hat{x}}_i^{\prime }{)}^{2}s.t{\hat{x}}_i^{\prime }=\hat{H}{\hat{x}}_i$$

• 几何距离和代数距离的比较，考虑单图像误差
  

  (x^′i,y^′i,z^′i)=Hx¯$$({\hat{x}}_i^{\prime },{\hat{y}}_i^{\prime },{\hat{z}}_i^{\prime })=H\overline{x}$$
  
  
  Aih=εi=(y′iw^′i−w′iy^′iw′ix^′i−x′iw^′i)$$A_{i}h={\epsilon }_i=\left(\begin{array}{c}{y}_i^{\prime }{\hat{w}}_i^{\prime }-w_i^{\prime }{\hat{y}}_i^{\prime }\\ w_i^{\prime }{\hat{x}}_i^{\prime }-x_i^{\prime }{\hat{w}}_i^{\prime }\end{array}\right)$$
  
  
  dalg(x′i,x^′i)=(y′iw^′i−w′iy^′i)2+(w′ix^′i−x′iw^′i)2$$d_{alg}(x_i^{\prime },{\hat{x}}_i^{\prime })=(y_i^{\prime }{\hat{w}}_i^{\prime }-w_i^{\prime }{\hat{y}}_i^{\prime }{)}^2+(w_i^{\prime }{\hat{x}}_i^{\prime }-x_i^{\prime }{\hat{w}}_i^{\prime }{)}^2$$
  
  
  d(x′i,x^′i)=dalg(x′i,x^′i)/w^′iw′i$$d(x_i^{\prime },{\hat{x}}_i^{\prime })=d_{alg}(x_i^{\prime },{\hat{x}}_i^{\prime })/{\hat{w}}_i^{\prime }{w}_i^{\prime }$$

• 重投影的几何解释，νH${\nu }_H$是满足(x′,y′,1)=H(x,y,1)$(x^{\prime },y^{\prime },1)=H(x,y,1)$的4维空间的代数簇
  

  ||Xi−X^i||2=(xi−x^i)2+(yi−y^i)2+(x′i−x^′i)2+(y′i−y^′i)2=d(xi,x^i)2+d(x′i,x^′i)2$$||X_i-{\hat{X}}_i|{|}^2=(x_i-{\hat{x}}_i{)}^2+(y_i-{\hat{y}}_i{)}^2+(x_i^{\prime }-{\hat{x}}_i^{\prime }{)}^2+(y_i^{\prime }-{\hat{y}}_i^{\prime }{)}^2=d(x_i,{\hat{x}}_i{)}^2+d(x_i^{\prime },{\hat{x}}_i^{\prime }{)}^2$$
  
  通过一系列点(xi.yi,x′i,y′i)$(x_i.y_i,x_i^{\prime },y_i^{\prime })$，拟合出代数簇

• Sampson误差，在νH${\nu }_H$上的点X$X$满足Ah=0$Ah=0$，记为ζH(X)=(0,0)T${\zeta }_H(X)=(0,0{)}^T$
  

  ζH(X+δx)=ζH(X)+δζHδXδx$${\zeta }_H(X+{\delta }_x)={\zeta }_H(X)+\frac{\delta {\zeta }_H}{\delta X}{\delta }_x$$
  
  求在满足Jδx=−ε$J{\delta }_x=-\epsilon$条件下使||δx||$||{\delta }_x||$取最小值的矢量δx${\delta }_x$，最小化
  δTxδx−2λT(Jδx+ε)$${\delta }_x^T{\delta }_x-2{\lambda }^T(J{\delta }_x+\epsilon )$$
  
  
  2δx−2λTJ=0T↦δx=JTλ$$2{\delta }_x-2{\lambda }^{T}J=0^T\mapsto {\delta }_x=J^T\lambda$$
  
  
  JJTλ=−ε↦λ=−(JJT)−1ε↦δx=−JT(JJT)−1ε$$J{J}^T\lambda =-\epsilon \mapsto \lambda =-(J{J}^T{)}^{-1}\epsilon \mapsto {\delta }_x=-J^T(J{J}^T{)}^{-1}\epsilon$$
  
  
  X^=X+δx,   ||δx||2=εT(JJT)−1ε$$\hat{X}=X+{\delta }_x,||{\delta }_x|{|}^2={\epsilon }^T(J{J}^T{)}^{-1}\epsilon$$
  
  
  最小化目标函数：   ∑iεTi(JJT)−1εi$$最小化目标函数：\sum _i{\epsilon }_i^T(J{J}^T{)}^{-1}{\epsilon }_i$$
  
  这里有2处近似：1. J$J$，点X$X$并未在簇上。2. 泰勒一阶展开

变换不变性

• DLT算法的非不变性，xi↔x′i$x_i\leftrightarrow x_i^{\prime }$由DLT算法得到H$H$。相似变换下，x~i=Txi↔x~′i=T′x~′i${\tilde{x}}_i=T{x}_i\leftrightarrow {\tilde{x}}_i^{\prime }=T^{\prime }{\tilde{x}}_i^{\prime }$由DLT算法会得到H~=T′HT−1$\tilde{H}=T^{\prime }H{T}^{-1}$吗？
  回答是：不一定能，所以DLT算法不具有不变性，会因为坐标选择而出现映射的不同

• 几何误差具有相似不变性

• 归一化变换，数据的归一化在一些算法中是必须得，特别是对一些不太良定的问题，例如：基本矩阵的计算以及三焦张量的DLT算法。
  1.对点进行平移，让这些点的图心（Centroid）移到原点
  2.进行尺度缩放，让这些点的到原点的平均距离为2–√$\sqrt{2}$
  

  T=s⎡⎣⎢100010−u¯−v¯1/s⎤⎦⎥   ,s=2–√n∑i[(xi−u¯)2+(yi−v¯)2]1/2$$T=s\left[\begin{array}{ccc}1& 0& -\overline{u}\\ 0& 1& -\overline{v}\\ 0& 0& 1/s\end{array}\right],s=\frac{\sqrt{2}n}{\sum _i[(x_i-\overline{u}{)}^2+(y_i-\overline{v}{)}^2{]}^{1/2}}$$
  
  

迭代最小化方法

• 有牛顿迭代和LM迭代

鲁棒估计

• 距离阈值：根据概率来选择，利用χ2${\chi }^2$分布
• 采样多少次：ε=1−w$\epsilon =1-w$是野值比率，，选择s$s$个点，p$p$是采样点中没有野值的概率,(1−ws)N=1−p$(1-w^s{)}^N=1-p$
• 算法步骤
  (1)角点检测
  (2)角点匹配
  (3)RANSAC鲁棒估计
  (4)最优估计：由划分为内点的对应点重新估计H，利用LM迭代
  (5)引导匹配：
  (6)最后2步可以重复进行直到对应的数目稳定