VIO系列 | 视觉与惯性传感器如何融合？来研读VINS-Mono论文与代码
点击上方“AI算法修炼营”，选择加星标或“置顶”
标题以下，全是干货
一、本系列概述
本系列旨在对前一阶段学习vins-mono开源框架的总结。结合暑假秋招之前报名的深蓝学院的《从零开始手写VIO》课程，本系列文章将从VIO原理以及开源代码分析两部分进行详细介绍。
提升代码能力最好的办法就是从头到尾撸开源框架，这种体验是单纯推导公式体会不到的。
论文地址：https://arxiv.org/pdf/1708.03852.pdf
源代码地址：https://github.com/HKUST-Aerial-Robotics/VINS-Mono
为什么要用VIO（视觉惯性里程计）？
1）单纯视觉：
缺点: 尺度不确定性、单目纯旋转无法估计、快速运动易丢失、受图像遮挡运动物体干扰。
优点：不产生漂移、直接测量旋转与平移。
2）单纯IMU：
缺点：零偏导致漂移、低精度IMU积分位姿发散优点：快速响应、可估计绝对尺度、角速度估计准确。
3）结合视觉+IMU：可用视觉弥补IMU的零偏，减少IMU由于零偏导致的发散和累计误差，IMU可为视觉提供快速响应的定位。
融合方案：
松耦合：将 IMU 定位与视觉的位姿直接后处理融合，融合过程对二者本身不产生影响，典型方案为卡尔曼滤波器
紧耦合：融合过程本身会影响视觉和 IMU 中的参数（如 IMU 的零偏和视觉的尺度）典型方案为 MSCKF 和非线性优化。
VINS-Mono贡献：
一个紧耦合、基于优化的单目视觉惯性里程计，具有相机-IMU外部校准和IMU偏置估计。
基于有界滑动窗口迭代进行估计。
基于滑动窗口里的关键帧维持视觉结构，基于关键帧之间的IMU进行预积分维持惯性测量。
鲁棒性：未知状态的初始化、相机和IMU外参数的在线标定、球面不统一重投影误差、回环检测、四*度位姿图优化（三位置和航向）
二、本系列文章目录
本系列共分为12部分，对应系统的4大部分：图像和IMU预处理、初始化、后端滑动窗口优化、闭环检测和优化。
目录 | |
1 |
VINS-mono 论文解读（IMU预积分+Marg边缘化） |
2 |
VINS-Mono 代码详细解读——视觉跟踪 feature_tracker |
3 |
VINS-Mono 代码详细解读——Estimator_node.cpp |
4 |
VINS-Mono 代码详细解读——基础储备：IMU预积分的残差、Jacobian和协方差 processIMU()+intergrationBase类+imu_factor.h |
5 |
VINS-Mono 代码详细解读——基础储备：feature_manager.cpp |
6 |
VINS-Mono 代码详细解读——基础储备：外参标定 InitialEXRotation类 |
7 |
VINS-Mono 代码详细解读——基础储备：外参标定 InitialEXRotation类 |
8 |
VINS-Mono 代码详细解读——初始化2：视觉惯性松耦合初始化 estimator.cpp/visualIntialAlign() |
9 |
VINS-Mono 理论详细解读——紧耦合后端非线性优化 IMU+视觉的残差residual、Jacobian、协方差、基于舒尔补的边缘化 |
10 |
VINS-Mono 代码详细解读——基于滑动窗口的紧耦合后端非线性优化 optimization() |
11 |
VINS-Mono 代码详细解读——回环检测与重定位、四*度位姿图优化 |
12 |
实操：用imu_utils标定IMU，之后用于kalibr中相机和IMU的联合标定 |
三、VINS-Mono框架与代码总览
Vins-mono是香港科技大学开源的一个VIO算法，用紧耦合的方法，通过单目+IMU恢复出尺度，效果非常棒。
VINS的功能模块可包括五个部分：数据预处理、初始化、后端非线性优化、闭环检测及闭环优化。代码中主要开启了四个线程，分别是：前端图像跟踪、后端非线性优化（其中初始化和IMU预积分在这个线程中）、闭环检测、闭环优化。
1 图像和IMU预处理
图像：提取图像Harris角点，金字塔光流跟踪相邻帧，RANSAC去除异常点，最后将跟踪到的特征点push到图像队列中，并通知后端进行处理。
IMU：1）IMU积分，得到PVQ 位置、速度、旋转，2）计算在后端优化中将用到的相邻帧的预积分增量，3）计算预积分误差的Jacobian矩阵和协方差。
2 初始化
SFM纯视觉估计滑动窗所有帧的位姿和3D路标点逆深度
SFM与IMU预积分松耦合，对齐求解初始化参数。
3 后端滑动窗口优化：将视觉约束、IMU约束和闭环约束放在一个大的目标函数中进行非线性优化，求解滑动窗内所有帧的PVQ、bias
4 闭环检测和优化：DBow进行闭环检测，检测成功后重定位，最后对整个相机轨迹进行闭环优化。
代码的文件目录
1、ar_demo：一个ar应用demo
2、benchmark_publisher：接收并发布数据集的基准值
3、camera_model
calib：相机参数标定
camera_models：各种相机模型类
chessboard：检测棋盘格
gpl
sparse_graph
intrinsic_calib.cc：相机标定模块main函数
4、config：系统配置文件存放处
5、feature_trackers：
feature_tracker_node.cpp ROS 节点函数，回调函数
feature_tracker.cpp 图像特征光流跟踪
6、pose_graph：
keyframe.cpp 关键帧选取、描述子计算与匹配
pose_graph.cpp 位姿图的建立与图优化
pose_graph_node.cpp ROS 节点函数，回调函数，主线程
7、support_files：帮助文档、Bow字典、Brief模板文件
8、vins_estimator
factor：实现IMU、camera等残差模型
initial：系统初始化，外参标定，SFM
utility：相机可视化，四元数等数据转换
estimator.cpp：紧耦合的VIO状态估计器实现
estimator_node.cpp：ROS 节点函数，回调函数，主线程
feature_manager.cpp：特征点管理，三角化，关键帧等
parameters.cpp：读取参数
四、结语
本系列将主要介绍VIO（视觉惯性里程计）的主要应用，带你从头开始研读VIO中的代表作——VINS-Mono的论文和代码。我相信经过一系列文章的学习之后，我们将加深对多传感器融合算法、视觉里程计等算法的理解。同时，也将为VR、AR等3D应用打下坚实基础。敬请期待！获取VINS-Mono的论文原文，可关注公众号留言或扫描下方个人微信。
参考文献：
1、VINS-Mono论文学习与代码解读——目录与参考 （https://blog.csdn.net/qq_41839222/article/details/85793998）
2、https://blog.csdn.net/wangshuailpp/article/details/78461171
3、https://github.com/StevenCui/VIO-Doc
目标检测系列
语义分割系列
面试求职系列
一起学C++系列
竞赛与工程项目分享系列
SLAM系列
视觉注意力机制系列