cv--action入门调查
human action分类:
范围很广,从基本手势到人类团体事件。
- gesture(肢体运动)
- actions(单人行为)
- interaction(多方交互)
- group activity(群体事件)
研究方向
action recognition
输入已经分割好的视频片段,输出一个标签,多分类问题
核心环节:
- action feature extraction:在原始视频中,使用特征提取模型在视频中提取有区分度的行为特征,输出适合分类的向量形式,该步骤是行为识别中至关重要的一步,特征向量的鲁棒性和区分度直接影响行为识别的准确率。
- action representation:根据某种规则将提取的行为特征有序地组织起来,使其具有更高层的表示意义
- action classification
temporal action detection(action detection)
和action recognition只关注what相比,temporal action detection还多关注一个where问题,temporal action detection:action location + action recognition
核心环节:
- feature extraction:特征提取步骤从视频中提取动态和静态行为特征。
- proposal:提名机制筛选出行为可能发生的时间位置并记录
- classification:对提名片段上的行为特征进行分类
action segmentation
和action detection相比,action segmentation是frame-label的
action parsing
商汤提出的新问题,在一段动作视频中,定义一连串子动作(sub-action),动作解析即定位这些子动作的开始帧。该任务可更好的进行动作间和动作内部的视频理解。