读书笔记:Dynamic GCN: Context-enriched Topology Learning for Skeleton-based Action Recognition
Dynamic GCN:基于骨架的动作识别的上下文丰富的拓扑学习
Dynamic GCN: Context-enriched Topology Learning for
Skeleton-based Action Recognition
code:暂时未公开
摘要:
图卷积网络(GCN)对基于骨骼的动作识别任务越来越感兴趣。关键在于图形结构的设计,该结构对骨架拓扑信息进行编码。在本文中,我们提出了动态GCN,其中引入了一种称为上下文编码网络(CeN)的新型卷积神经网络来自动学习骨架拓扑。特别是,当学习两个关节之间的依存关系时,其余关节的上下文特征将以全局方式合并。 CeN效果比较好并且网络比较小,可以嵌入到图形卷积层中。通过堆叠多个启用CeN的图卷积层,我们构建了Dynamic GCN。值得注意的是,作为CeN的一项优点,可为不同的输入样本以及不同深度的图形卷积层构建动态图形拓扑。此外,对三种可选的上下文建模架构进行了很好的探索,它们可以作为未来图拓扑学习研究的方向。 CeN仅为基线模型带来约7%的额外FLOP,而Dynamic GCN则比现有方法具有更好的性能,且FLOP减少了2倍至4倍。通过进一步结合静态的身体连接和运动方式(相邻帧做差),我们可以达到最佳状态NTU-RGB + D,NTU-RGB + D 120和Skeleton-Kinetics这三个大型基准的很好的性能。
这篇论文是HCN基础上提出的,CeN结构是HCN是很类似,利用CNN去提取全局特征。对于全局特征的提取,CNN还是比GCN有优势的。这篇论文有一个特别新颖的点就是CeN会在GCN的每一层都学习一个动态的、唯一的邻接矩阵。
才刚开始看,做一下记录,希望作者能公开代码。。。