知识点梳理：基本矩阵F、本质矩阵E、单应矩阵H
1.基本矩阵F:根据两帧间匹配的像素点对儿计算
2.本质矩阵E:通过归一化坐标对进行计算。
因为R,t共有6个自由度，又因为单目尺度等价性，所以实际上E矩阵共有5个自由度。因此至少需要5个点对来求解。十四讲中说因为E矩阵的内在性质是一种非线性，求解起来十分麻烦。这句话怎么理解呢？其实意思应该是说把E矩阵用5个变量来表示是比较困难的，他们之间是一个非线性的表示形式（E=）因此也就很难利用五对儿归一化坐标点来直接求解。而把E矩阵直接用9个矩阵元素来线性表示的话求解起来就比较容易，为了保留E矩阵的尺度等价性我们只需要八对点去求解，这样的话。就使得下式的系数矩阵零空间维数为1，即矩阵是奇异矩阵，这样求出来的E矩阵就有无穷多个解，而且自由度是1，因此这和e的尺度等价性是一致的。
3.单应矩阵H：通过两帧间的像素点对儿求解，但要求这些点的空间位置共面。
下面的公式是十四讲第一版中的，实际上等式应该改为相似符号，因为我们计算的时候P按得是归一化坐标，因此之间差了一个尺度的问题。第二版书上已经改过来了。
下面的公式也应该是相似符号不是等号。因为是相似关系我们在不是0的情况下把矩阵乘上一个非零因子把h9设为1。这样H矩阵存在8个自由度。
然后可以得到3个等式，然后根据相似的比例关系可以得到下面的两个等式，这里是实实在在的等号。
整理得
其中若h9等于0那么上式中等式右侧都为0.
然后共需4对点即可求解，这四对点不能存在任意3点共线，否则某一点产生的约束可以用其他两个点的约束给消除了，也就是说造成下面的矩阵不满秩。
上述求解H矩阵的方法成为直接线性变化法（DLT）。
然后就是对H矩阵进行分解，求解R,t。这一部分参考吴博师兄的ORBSLAM的讲解。