Relation-Shape Convolutional Neural Network for Point Cloud Analysis 论文解读

Abstract

1.点云不规则点所表示的形状是很难分析的，本文将规则的卷积操作应用了不规则的点云分析上，称为Relation-Shape Convolutional Neural Network，主要是为了学习点和点之间的几何拓扑限制。

ps：拓扑是研究几何图形或空间在连续改变形状后还能保持不变的一些性质的一个学科。它只考虑物体间的位置关系而不考虑它们的形状和大小。

2.局部点集的权重必须从预定义的几何先验中学习高级的关系表达式，这样可以获得含有明显空间布局的局部点的表示

3.除了RS-CNN基本模块外，还开发了一个层次化架构用于空间上下文的学习。

Introduction

注：P是输入点云

1.点云学习的难度有：
（1）P是无序的,因此要求学习到的表示具有排列不变性（对于同一点云的不同矩阵表示，学习到的特征是一样的）
（2）对平移、旋转等刚体变换具有鲁棒性
（3）P形成一个基本的形状， 学习到的表示要具有区分性的形状信息（点和点之间构成了形状）

问题（1）已通过PointNet网络的对称函数得到了很好的解决，而（2）和（3）仍然需要全面探索。

（核心思想）2.首先选择中心点，然后通过knn的方式获得局部领域点，接着从中心点和邻域点之间的低层关系中学习到包含形状信息的高层卷积权重，并且使用一个层次化的 CNN-like architecture来实现点云上下文形状的学习。

3. Shape-Aware Representation Learning

3.1. Relation-Shape Convolution

1.Modeling

为了克服这个问题，我们对局部点进行建模子集Psub⊂R3成为球形邻域，采样点xi为质心，周围点为
它的邻居xj∈N（xi）。然后，我们的目标是学习此邻域的表示f Psub，应区别对待地编码基本形状信息。其中x是3D点，f是特征向量。 dij是xi和xj之间的欧式距离，r是球体半径。在这里，f Psub是通过首先用函数T变换N（xi）中所有点的特征而获得的，然后将用函数A收集信息，然后使用非线性**函数**。在此公式中，两个函数A和T是f Psub的关键。A通过对称性解决了点云的无序性问题，T在N（xi）中的每个点上共享。

ps:之前点云论文都是将中球体的质心和周围邻域点特征差值当做特征来学习，这里是当权重去训练。

2. Limitations of classic CNN

传统CNN的限制：
（1）wj未在N（xi）的每个点上共享，从而导致点排列方差和无法处理不规则Psub
意思是：每个点上的权重wj是任意给的

（2）wj反向传播时之和wj，即孤立地学习邻域中每个点的信息，是得不到形状信息的,这个问题可以通过执行各种数据扩充或使用许多卷积滤波器，但它们不是最佳的。
（通过执行多个卷积滤波器，经过自己的实验证明，确实是只能学习到很少的信息）

3. Conversion: Learn from relation

ps:点云的各个点之间确实没有几何关系，作者说中心点和邻域点之间有明显空间布局关系，这个关系可以用于学习。

！！！主要方法：

映射M的目标是抽象两点之间（xi和xj之间预设的几何先验hij）的高级关系表达式，可以对它们的空间布局进行编码

有一个问题：这种自己预设的几何先验是对的吗？
（每个点都这样做的话，所有的特征都以同样的标准来获取）

这样一来wij的梯度和wi、wj都相关，而且所有的wij都是通过同一个mlp获得，这样的话可以
不受点云无序性地影响（使用了同一mlp获得的权重，证明了这些邻域点之间有统一的关系，加强了学习到的形状信息）[^1]

（忽略这句：【1,1】的卷积核，对于N个邻域点来说是同一个，看看每个邻域点的反应情况。）

参考：https://blog.****.net/shuzfan/article/details/51338178
使用同一mlp，获得得形状信息更加准确。

4.Channel-raising mapping

将fsub特征的数量通过一系列mlp设置成一样的数量。

未完待续…