cv--action入门调查

human action分类:

范围很广,从基本手势到人类团体事件。

  1. gesture(肢体运动)
  2. actions(单人行为)
  3. interaction(多方交互)
  4. group activity(群体事件)

研究方向

action recognition

输入已经分割好的视频片段,输出一个标签,多分类问题
cv--action入门调查

核心环节:
  1. action feature extraction:在原始视频中,使用特征提取模型在视频中提取有区分度的行为特征,输出适合分类的向量形式,该步骤是行为识别中至关重要的一步,特征向量的鲁棒性和区分度直接影响行为识别的准确率。
  2. action representation:根据某种规则将提取的行为特征有序地组织起来,使其具有更高层的表示意义
  3. action classification

temporal action detection(action detection)

action recognition只关注what相比,temporal action detection还多关注一个where问题,temporal action detection:action location + action recognition

核心环节:
  1. feature extraction:特征提取步骤从视频中提取动态和静态行为特征。
  2. proposal:提名机制筛选出行为可能发生的时间位置并记录
  3. classification:对提名片段上的行为特征进行分类

action segmentation

和action detection相比,action segmentation是frame-label的

action parsing

商汤提出的新问题,在一段动作视频中,定义一连串子动作(sub-action),动作解析即定位这些子动作的开始帧。该任务可更好的进行动作间和动作内部的视频理解。