SuperPoint:Self-Supervised Interest Point Detection and Description 论文笔记

论文链接：论文.

代码：代码（可惜没有提供训练代码）.

本文提出了一种同时训练特征点和描述子，并且适用于大规模多视野几何问题的自监督训练模型，和传统的特征点方法，如LIFT、SIFT以及ORB相比，有极佳的准确性，并且使得算法实时性得到大幅度提升。

本文亮点

针对现有神经网络模型对语义信息提取不佳，同时传统神经网络的训练需要大量真值（ground truth）标注的问题，本文通过提出自监督模式以减轻手工标定的负担。

SuperPoint由MagicPoint和Homographic Adaptation两部分构成。
1、由于没有大规模用于兴趣点训练的数据集，作者首先构造了一个名为Synthetic Shapes的数据集，其中包含了大量简单的几何图形，用来训练特征点提取器，并将其命名为MagicPoint，MagicPoint针对一般图片取得了不错的效果，但是由于是通过简单几何图形训练而来，其对一般图片的纹理及模式信息提取能力较差，其过程如下图所示。

2、Homographic Adaptation通过修剪输入图片（可以理解为抠图），使得特征提取器（MagicPoint）可以获得图片多个视野的信息，通过两种结合（构成Superpoint）来解决上述问题，其过程如下图所示。

3、最后运用一个描述子子网络来提取图片的描述子，通过兴趣点和描述子的结合，实现完整的特征点匹配过程，其过程如下图所示。

训练方法

SuperPoint创新地运用了同时训练兴趣点提取器和兴趣点描述子的方法，使得两者可以共享计算量，缩短了训练时间，其结构图如下。

实验结果

其中，ε表示正确率的阈值。

可以发现，SuperPoint在绝大数情况下均优于传统的特征点提取方法。