Relocalization under Substantial Appearance Changes using Hashing 使用哈希算法在有显著外观变化的场景中进行重定位

本博客仅为作者记笔记之用，不对之处，望见谅，欢迎批评指正。
更多相关博客请查阅：http://blog.****.net/weixin_39779106；
如需转载，请附上本文链接：https://blog.****.net/weixin_39779106/article/details/80516800

原论文链接
项目网站及Demo链接

一、摘要

原文摘要	翻译
This paper investigates the problem of place recognition in environments that undergo dramatic visual changes.	这篇文章研究的是动态视觉变化环境中的地点识别问题。
Our approach builds upon previous work on graph-based image sequence matching and extends it by incorporating a hashing-based image retrieval strategy in case of localization failures or the kidnapped robot problem.	本文所提出来的方法建立于之前所提出的基于图的图像序列匹配方法，并在其基础上加入了基于哈希的图像回溯策略来解决定位失败的问题。
We present a variant of hashing algorithm that allows for fast retrieval for high-dimensional CNN features.	我们提出了一种哈希算法的变体，可以快速的对高维度CNN特征进行回溯。
Our experiments suggest that our algorithm can reliably recover from localization errors by globally relocalizing the robot. At the same time, our hashing-based candidate selection is substantially faster than state-of-the-art locality sensitive hashing.	实验结果证明所提出的算法能够很可靠的在定位失败的情况下进行全局重定位。同时，本文的哈希候选方法比目前性能最好的局部敏感哈希方法运算速度更快。

二、介绍

1. 本篇文章最大的贡献在于能够在线寻找与当前帧匹配的先前记录数据中相对应的图像，即使在当前帧与先前记录数据在外观上有很大的区别，即能实现在外观变化强烈条件下的地点识别，如上图所示。
2. 这篇文章是基于作者之前的工作展开的，同样运用了慵懒搜索法（Lazy Search）。同时也对之前的工作进行了扩展：i) 提供了一种处理参考数据库序列中循环的方法，并将新的边缘引入到即时建立的数据关联图中。ii) 提出了一种定位失败之后的重定位方法。
3. 对于本篇论文提出的算法，作者自己的评价是：i) 当机器人定位失败时，本文提出的算法能够很快的实现全局重定位，解决机器人绑架问题(kidnapped robot problem)； ii) 该算法可以在机器人导航时在线实时运行，只需要对一小部分图像进行比较；iii) 可以在不需要GPS的情况下很好地处理参考图像中闭环的问题。

三、相关工作

本文的相关工作部分写得很好，值得借鉴。本文对地点识别方法进行了详细分类，包括：
1. 利用图像序列来对齐(地点识别领域内几位大牛的工作 Milford, Newman, Burgard, Stachniss)：
[1] C. Linegar, W. Churchill, and P. Newman. Work smart, not hard: Recalling relevant experiences for vast-scale but time-constrained localisation.
[2] M. Milford. Vision-based place recognition: how low can you go?
[3] M. Milford and G.F. Wyeth. Seqslam: Visual route-based navigation for sunny summer days and stormy winter nights.
[4] T. Naseer, L. Spinello, W. Burgard, and C. Stachniss. Robust visual robot localization across seasons using network flows.
2. 使用不同的特征：
[4] 使用了改进的Hog特征；
[5] P. Neubert, N. Sunderhauf, and P. Protzel. Appearance change prediction for long-term navigation across seasons. 使用了词袋法，N. Sunderhauf现在在Milford组内。
[6] Z. Chen, O. Lam, A. Jacobson, and M.Milford. Convolutional neural network-based place recognition.首次使用了基于CNN的特征来做地点识别。Z. Chen是Milford的学生，目前在ETH工作。
[7] R. Arroyo, P.F. Alcantarilla, L.M. Bergasa, and E. Romera. Fusion and binarization of cnn features for robust topological localization across seasons. 对CNN特征进行二进制化，并使用汉明距离来做比较，提高了基于CNN特征算法的计算效率和实时性
3. 重定位方面，有利用当前帧与所有参考图像进行比对的方法，有利用哈希算法的方法但都非常耗时。Lv等人对哈希算法进行了改进，提高了检索效率，因此本文基于该算法来搜索CNN特征从而实现全局重定位。

四、算法介绍

1. 基于慵懒数据关联的图像序列匹配算法

• 论文的核心思想同样是利用图像序列匹配来实现视觉地点识别，也就是在给定参考序列的情况下找到与当前帧最相似的子序列，然后利用慵懒搜索法实现在线匹配。
• 图像序列匹配就是如上图所示的图搜索问题，其中每个节点代表可能的配对，边代表节点间可能出现的转换。该图中的最短路径对应于图像序列之间最有可能的数据关联。具体而言，绿色圈表示匹配代价已被计算的节点，蓝色（或红色）节点是属于找到路径的节点。蓝色节点是所谓的隐藏节点，支持路径拓扑的节点，但其匹配代价高于指定参数（非匹配代价），即图像不相似。红色节点是对应的匹配代价低于非匹配代价的节点。当最新图像被关联到参考图像时，无论是隐藏的还是真实的节点，搜索就会结束（对于所有当帧执行相同的操作）。这一方法存在两个缺陷，第一，一旦丢失，就无法重新定位。其次，就是假设了查询轨迹与参考轨迹大致一致。
• 在本文提出的方法克服了以上两个局限性。

2. 针对CNN特征的鲁棒图像匹配代价

• 阿三
-