山东大学2019上半学期增强现实课程重点整理
一.概述
1.增强现实的定义：增强现实是由计算机生成的虚拟信息与现实物体共存的环境，并且虚拟信息能够产生与现实物体相同的感知体验。
2.增强现实三要素：虚拟信息与现实物体共存，虚拟信息与现实物体的三维注册，虚拟信息的实时交互性。
3.增强现实中相关空间及坐标系：世界坐标系，虚拟坐标系，相机坐标系，图像坐标系
4.三维刚体变换矩阵：
5. P = K [R t]的推导（空间三维点与图象点的映射关系）：
6. P的求解：
（1）AP求解（待定元素法）：
（2）把P分解为K R t：
7.相机模型：
二.双视点问题
1.同一个平面产生的两幅图像间的投影变换（H可以由4个点来计算）：
2.极点，极线，极平面，基线说明：当平面点x变化时，极平面会绕基线旋转，因为基线是两个相机中心的连线始终不变。
3. 点与线关系：
(1)一条直线l可以由[l1 l2 l3]来确定，这个列向量会决定一个函数：l1 * x + l2 * y + l3 = 0
(2)由(1)知点在线上表示为：lx=0或xl=0
(3)两点确定一条线：l = p x q
(4)两线确定一个点：x = l x m
4.叉乘的矩阵表示形式：
5.基础矩阵的推导（F矩阵的推导）：
（1）F矩阵的第一种形式：极线表示形式
（2）F矩阵的第二种形式：具体形式xFx = 0
（3）F矩阵的第三种形式：基于相机的推导
（4）由F矩阵推导极线与极点：左点推右线
6.投影重建的步骤：
（1）计算基础矩阵F
（2）将F表示为[t]x M
（3）两个相机矩阵为P = [ I 0 ] 与 P = [ M t ]
（4）通过三角测量法计算点X（X是平面点不是图象点）
7.基础矩阵的计算：
（1）一般求解：（至少需要八个点）
（2）7点求解法：
【1】为等式Af=0构建7X9的解（7个点）
【2】系统有一个2维解集
【3】通解有形式 f = a * f0 + b * f1；
【4】在矩阵项中有：F = a * F0 + b * F1；
【5】F=0的条件给出了a与b的立方等式
【6】对a/b有一个或三个解
8. 误差情形下的三角测量法：
（1）三角测量法是要在知道P，P‘，x，x’的情况下计算X
（2） 在有噪声情况下，两反向投影线不会相交
（3）最小化误差：
9.三维投影变换H的解析：分为metric矩阵，affine矩阵与projective矩阵（可以通过消失线与平行线简化计算）
10. 立体重建：
（1）基本原则：将重建作为两个反投影射线的交点。需要知道对应点关系及进行相机校正。
（2）深度计算：Z = Bf/d
（3）两台自由相机的校正：两个图象被映射到同一幅图像上，二者极线都在同一扫面线上
（4）找到两幅立体图像的对应关系并计算像素差距
【1】局部方法：进行局部特征匹配并选择损耗最小的匹配方法
【2】全局方法：构建全局能量图并选择使全局能量最小的匹配方式
【3】结合方法：先用局部方法为像素选出差距候选者，然后用全局方法从差距候选者中选出一个
三.实时三维注册
1.三维注册的基本步骤：
（1）图像二值化
（2）连通域分析
（3）标志边框定位
（4）标志识别与匹配
（5）姿态估计
（6）虚拟物体叠加
2. 从标志的外框计算姿态：
3.SLAM:
（1）定义：同时定位与地图构建
（2）数学模型：
【1】全局SLAM：估计所有路径及地图。
【2】在线SLAM：估计最近的姿态和地图
（4）步骤：
【1】机器人初始不确定性为0，从此位置观测到一个特征，由测量误差不确定性映射
【2】机器人移动，不确定性增加
【3】机器人观测到新的特征，此特征由测量误差与姿态不确定性结合的不确定性映射
【4】机器人移动，不确定性增加
【5】观测到以前观测过的特征，形成回路闭合检测，不确定性降低，地图更新。
四.相机校正
1.相机校正步骤：
（1）几何配准：提前扭曲图像，当投影时可以显示
（2）强度归一化：重叠投影混合图象处理
2.第一步：几何配准：对于平面，投影图像只需要经过一个3x2的变换。对于不规则曲面，有四步操作来扭曲图像
（1）将广角相机（WFOV）摆放到合适的位置
（2）将点依次进行投影
（3）找到投影图像到相机图像的映射关系
（4）反转映射找到扭曲函数
3.第二步：强度归一化：对于不规则曲面，投影重叠在相机图象空间中被检测到，为投影像素指定强度权值
五.遮挡与光照处理
1.静态遮挡解决方法：
（1）3D重建
（2）深度影像
2.动态遮挡解决方法：
实况视频的双层分割问题
3.现实环境中的光照模型：
（1）局部光照模型：Phong模型
（2）全局光照模型：光线跟踪，辐射度
4.现实环境中的材质描述：漫反射系数，镜面反射系数，透光系数，纹理映射