您的位置: 首页  >  文章  >  【行为识别综述准备】

【行为识别综述准备】

分类: 文章 • 2024-01-08 08:57:40

首先，以后可以工作可以考虑一下基于图卷及的行为识别今年很多，且在数据集上性能领先。
如下图所示：
【行为识别综述准备】

应用场景：

  1. 【2019】Skeleton-based Action Recognition of People Handling Objects 【论文】
  • recognizing object-related human actions
  • 偏向于应用场景
  • 通过构建skeletion-graph 利用了图卷积
    【行为识别综述准备】

CNN-Based：

  1. 【2019】SkeleMotion: A New Representation of Skeleton Joint Sequences Based on Motion Information for 3D Action Recognition【论文】 【代码】
  • Skeleton -> Image
  • 偏向于方法
  • 3D 行为识别
  • CNN方法
  • NTU RGB+D 120 dataset
  • skeleton image representation 重要！！！对骨架序列进行编码，进一步表示，高效表示，skeleton->Image，有点像师兄的思路！

【行为识别综述准备】【行为识别综述准备】
2. 【2019】Three-Stream Convolutional Neural Network With Multi-Task and Ensemble Learning for 3D Action Recognition【论文】

  • 数据集：NTU RGBD
  • 3D 行为识别
  • 思路：三个stage
  • 偏向于方法,网络结构上的创新！
  • 多任务学习
    【行为识别综述准备】
    此外他还有一篇文章是考虑了频域信息进去的，结构差不多
    如下，主要讲当前的方法都是异步学习语义信息等的，而且是在不同的层，这里提出了residual frequency domin的attention block!也是网络结构的上的改进！（多种模态信息的考虑，时-空-频率）
    【行为识别综述准备】
  1. Skeleton based action recognition using translation-scale invariant image mapping and multi-scale deep cnn 【论文】
  • 对骨架信息转换成特殊形式的Image
  • 多尺度的CNN
  • 数据集： NTU RGB+D, UTD-MHAD, MSRC-12, and G3D
    【行为识别综述准备】【行为识别综述准备】
  1. 【2019】Making the Invisible Visible: Action Recognition Through Walls and Occlusions 【论文】
  • 对黑暗中或者遮挡住的人体也能构建成骨架，然后识别动作，骨架信息作为中间信息！
  • CNN
  • 加入了Attention Module用来获取时空信息
    【行为识别综述准备】【行为识别综述准备】
  1. 【2018】Co-occurrence Feature Learning from Skeleton Data for Action Recognition and Detection with Hierarchical Aggregation
    【论文】
  • End- to-end
  • CNN
  • 数据集：NTU RGB+D, SBU Kinect Interaction and PKU-MMD.
  • 首先每个点的信息被单独的进行了编码，其次将其assembled into到同时包含时空 信息的高层语音的representation形式，
  1. 【2019ICME】Learning Shape-Motion Representations from Geometric Algebra Spatio-Temporal Model for Skeleton-Based Action Recognition 【论文】
  • 也是对骨架信息的编码，更高效的表示，然后送到CNN
  • 利用了集合代数Geometric Algebra
  • multi-stream CNN model
  • 数据集：NTU RGB+D and Northwestern-UCLA datasets
  1. 【2017】3D CNNs on Distance Matrices for Human Action Recognition 【论文】
  • 3DCNN+DM（欧式距离矩阵）来获取的良好的空间几何结构信息
  • 数据集：差不多还是有NTU
  • 比之前相近的LSTM-based的方法提升了10个点
  • 也可以算是一种对于骨架信息的表示吧
    【行为识别综述准备】
  1. 【2017】Skeleton-based Action Recognition with Convolutional Neural Networks 【论文】
  • CNN+Motion+Trans，还是将骨架序列当做图片去处理
  • action classification and detection
  • 骨架序列直接送进CNN之后通过骨架transformer模块自动选择中药的骨架点
  • 数据集NTU PKUMMD
    【行为识别综述准备】
    【行为识别综述准备】
  1. 【PR2017】Enhanced skeleton visualization for view invariant human action recognition-师兄的论文！ 【论文】
  • Synthesized CNN
  • 也是对骨架点进行转换！之后CNN
  1. 【2017】A New Representation of Skeleton Sequences for 3D Action Recognition 【论文】
  • CNN
  • 也是一种对骨架序列重新进行加工的形式使其更加具有表现性！
  • A skeleton sequence of any length is transformed into three clips each consisting of several gray images. The generated clips are then fed to a deep CNN model to extract CNN features which are used in a MTLN for action recognition.
    【行为识别综述准备】
  1. 【2018】A Fine-to-Coarse Convolutional Neural Network for 3D Human Action Recognition 【论文】
  • 对骨架序列进行分割成小片段，用来学习其中的联系
  • 时空信息通过 fine-to-coarse (F2C) CNN architecture 实现
  • 数据集：NTU RGB+D and SBU Kinect Interaction dataset.
  • 也是对骨架信息动手脚
    【行为识别综述准备】
  1. 【2017】Interpretable 3D Human Action Analysis with Temporal Convolutional Networks
  • CNN
  • a way to explicitly learn readily interpretable spatio-temporal representations for 3D human action recognition.
  1. 【2017】SkeletonNet: Mining Deep Part Features for 3D Action Recognition 【论文】
  • 也是一种表现实行，相比于骨架信息本身，处理后的包含了旋转，评议，和尺度等因素
  • 由两部分构成，第一个用于提取特征，另一个用来将特征转化为更加具有区分性且紧凑的表现形式

【行为识别综述准备】

  1. Two-Stream 3D Convolutional Neural Network for Skeleton-Based Action Recognition-涂涂师姐的论文
  • 双流3DCNN
  1. 【2014CVPR】Human Action Recognition by Representing 3D Skeletons as Points in a Lie Group 【论文】 【代码】
  • 也是一种表现形式，对骨架点编码到利群上的点！
  1. 【2019】Skeleton Image Representation for 3D Action Recognition based on Tree Structure and Reference Joints 【论文】 【代码】
  • a novel skeleton image representation to be used as input to CNNs.
  • 数据集：NUTRGBD
  • 也是对骨架信息进行处理然后送进CNN
  1. [2014] Skeletal Quads: Human Action Recognition Using Joint Quadruples 【论文】
  • 对骨架信息进行编码！
  • 没准对之后的工作又用！
    【行为识别综述准备】
  1. Ensemble One-dimensional Convolution Neural Networks for Skeleton-based Action Recognition
    网络结构的改变
  2. Hard Sample Mining and Learning for Skeleton-Based Human Action Recognition and Identification 【论文】
  • 行为识别+人的识别identification(应用！)
  1. 【2019】Make Skeleton-based Action Recognition Model Smaller, Faster and Better 【论文】 代码
  • 特点：轻量级，快！

混合方法；

  1. 【2019】Semantics-Guided Neural Networks for Efficient Skeleton-Based Human Action Recognition [【论文】] (https://arxiv.org/pdf/1904.01189v1.pdf)
  • e NTU, SYSU, and NUCLA datasets.
  • GCN+ CNN
  • 也是获取多种模态信息，如图
    【行为识别综述准备】
  1. 【ECCV2018】Skeleton-Based Action Recognition with Spatial Reasoning and Temporal Stack Learning 【论文】 【代码】
  • 图卷积+LSTM相关，前者获取高层空间结构信息，后者获取时域动态信息
  • propose a novel model with spatial reasoning and temporal stack learning (SR-TSL) for skeleton based action recognition

RNN-based

1.【2018】 Memory Attention Networks for Skeleton-based Action Recognition 【论文】 【代码】

  • 特点：In this work, we propose a temporal-then-spatial recalibration scheme to alleviate such complex variations, resulting in an end-to-end Memory Attention Networks (MANs) which consist of a Temporal Attention Recalibration Module (TARM) and a Spatio-Temporal Convolution Module (STCM).
  • 数据集：NTU RGB+D, HDM05, SYSU-3D and UT-Kinec

相关推荐