KCNet：Mining Point Cloud Local Structures by Kernel Correlation and Graph Pooling（上）

KCNet：Mining Point Cloud Local Structures by Kernel Correlation and Graph Pooling

Yiru Shen, Chen Feng, Yaoqing Yang and Dong Tian Mining Point Cloud Local Structures by Kernel Correlation and Graph Pooling. CVPR 2018

今天选的这个题目很失败，因为我觉得好难，真是我看过的论文里面最难的一篇了（虽然我看过的也不多，hhhh…），话不多说，赶紧码字了，估计发布的时候都是明天了（笑哭）。

标题：基于核相关和图池合并的挖掘点云局部结构

摘要：与图像不同，由于自然无序的数据结构，使用深度网络的3D点云的语义学习具有挑战性。在现有的作品中，PointNet通过直接学习点集来取得了可喜的成果。然而，它没有充分利用一个点的局部邻域，其中包含细粒度的结构信息，这有助于更好的语义学习。在这方面，我们提出了两项​​新的业务，以更有效地利用当地结构来改进PointNet。第一个侧重于局部3D几何结构。类似于图像的卷积核，我们将点集内核定义为一组可学习的3D点，它们根据由核相关性测量的几何关系共同响应一组相邻数据点，改编自点云配准的相似性技术。第二个利用局部高维特征结构，通过在最近邻图上从3D位置进行重复特征聚合。实验表明，我们的网络工作可以有效地捕获本地信息，并在主要数据集上稳健地实现更好的性能。

（注意：这里的MLP(512,256,C)的意思好像是（1,1024）依次经过输入输出数据数为512、256和C的MLP，因此最后数据的输出就变成了（1,C））

图2：我们的KCNet网络架构。前端内核相关层利用局部几何结构计算每个数据点的K个最近邻点和L个点集内核之间的不同亲和度，每个内核包含M个可学习的3D点。 得到的响应与原始3D坐标连接。 随后，图池池将利用局部特征结构，从每个点的3D欧几里德邻域离线构建每个3D对象实例共享相同的图形。 ReLU用于每层没有Batchnorm。 辍学层用于最后的MLP。 其他操作和基础网络体系结构与PointNet [29]类似，用于形状分类和部分分割。 实线箭头表示向后传播的前向操作，而虚线箭头表示没有向后传播。 绿框是输入数据，灰色是中间变量，蓝色是网络预测。 我们将网络命名为KCNet。 最好看的颜色。

上面两图为KCNet进行点云分类和分割的网络架构。作者通过1）测量点集的几何亲和力的核相关，以及2）在相邻点之间传播局部特征的KNNG来解释学习点邻域上的局部结构的细节。图2展现了完整的网络架构。

我关于Kernel Correlation的理解类似于2D CNN里面的卷积核，就是用具有不同特征的卷积核对图像进行卷积，然后进行maxpolling（最大池化）操作，数值大的那部分就是和卷积核特征最接近的。

而KNNG呢，我知道KNN是K近邻算法，KNNG意思好像是对输入的每个点进行K近邻搜索，然后把这个点和周围的K个点当作一个特征网，参与到主流程中的特征提取当中。

上面都是我的个人看法啦，有错误也希望大家谅解，这篇论文后续还要再仔细揣摩下，希望后面会有所突破吧！