MV:成像几何(2)

最后一点点。

4. Stereo Vision

定义

3D视觉,是从2D场景中推测出3D信息,主要困难有几何和radiometric上的。几何问题是单独的图片不能提供3D结构的完整信息,另一个问题是创建强度图像的物理过程过于复杂。不是所有的输入参数都是已知的。立体视觉通常需要使用两个摄像机。Stereopsis 是视觉感知的一个过程,它能让人产生立体纵深感。

Homography

也成为共线或射影变换;是一个射影空间到另一个射影空间(在embedding空间中是线性的)的映射。这个空间可以有任意维数 d d d;这个变换将任何的三重共线点映射为一个三重共线点。
u ′ = H u H : ( d + 1 ) × ( d + 1 ) m a t r i x u'=Hu\\ H:(d+1)×(d+1)\rm{matrix}\\ u=HuH:(d+1)×(d+1)matrix
[ x ′ y ′ 1 ] = [ h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 h 33 ] [ x y 1 ] \begin{bmatrix} x' \\ y' \\ 1 \end{bmatrix} = \begin{bmatrix} h_{11}& h_{12}& h_{13} \\ h_{21}&h_{22}&h_{23} \\ h_{31}&h_{32}&h_{33} \end{bmatrix} \begin{bmatrix} x \\ y \\ 1 \end{bmatrix} xy1=h11h21h31h12h22h32h13h23h33xy1

立体视觉的基本原理

给定一个图像点的坐标和一个摄像机的校准,使我们能够在空间中唯一地确定一条射线。如果两个校准过的摄像机观测同一个场景点X,则其三维坐标可以计算为两束光线的交点。

步骤:摄像机校准;建立来自左右图像的点之间的点对应;在场景中重建点的3D坐标。

example:
从两个图像点 ( x 1 , y 1 ) , ( x 2 , y 2 ) (x_1,y_1),(x_2,y_2) (x1,y1),(x2,y2)寻找w的坐标 ( X , Y , Z ) (X,Y,Z) (X,Y,Z)。假设两个摄像机完全一样,仅原点位置不同。
MV:成像几何(2)

结论( Z Z Z的过程不再推导)
x 1 f = X 1 f − Z x 2 f = X 1 + B f − Z Z = f − f B x 2 − x 1 \frac{x_1}{f}=\frac{X_1}{f-Z}\\ \frac{x_2}{f}=\frac{X_1+B}{f-Z}\\ Z=f-\frac{fB}{x_2-x_1} fx1=fZX1fx2=fZX1+BZ=fx2x1fB
3D中的平行线,投影到2D图像上,就不是平行线了:
MV:成像几何(2)