多视角人体活动采集系统组成及功能需求

一、人体姿态识别应用场景

    人体姿态识别的应用场景十分广泛，主要集中在智能监控系统、人机交互系统、医疗健康识别、多媒体娱乐、虚拟现实（VR）、体育科学分析等，具有极高的社会研究价值和经济价值。

二、人体姿态识别采集系统

2.1多视角人体活动采集

    首先，人体姿态识别可以分为2D和3D两种。通常情况下，2D情况只考虑了RGB图像上的表面信息，而3D是在RGB的图像的基础上，考虑摄像传感器与被测人体之间的距离关系（即Depth信息），并且考虑不同运动角度下使用多个传感器摄像头进行人体活动的采集，从而构成三维环境。
    人体活动信息的获得，通常有多种方式，比如通过如Kinect系列设备采集多视角人体活动的信息，或通过视频或图像的形式进行获取和识别，还有通过穿戴传感器设备进行的人体动作识别，以及WIFI信号在人体上的传播反射来识别人体动作。尽管有多种多样的获取人体活动信息方式，但在计算机视觉的相关研究中，主要还是通过类似Kinect这样的图像采集设备进行采集，从而对图片或视频信息进行分析研究。

2.2多视角人体动作识别流程

    通过阅读了几篇与多视角人体动作识别相关的文献，并查阅了相关资料之后，发现并总结出了多视角下人体动作的识别流程，具体的流程图如下所示。

图1 姿态识别流程 图片来源：https://www.sohu.com/a/322547597_701739

    从上述流程我们可以发现，多视角人体动作流程首先收集不同视角下的人体动作图像，紧接着对收集到的数据进行去噪或处理（数据预处理），然后通过一些模型算法提取出图像中关于人体活动的特征信息，并进行模型的训练以及分类，从而完成人体动作的识别。而在现在的研究中，研究者在人体动作识别的研究都集中于多视角的数据变化、跨域识别的影响、以及特征向量的提取以及模型分类准确率的提高等。

三、RGBD的相关介绍

    在阅读了几篇与人体动作识别有关的文献后，发现现在的研究都基本聚焦于RGBD图像之上，故此部分简要介绍RGBD的相关知识。

3.1简要说明

    何为RGBD?

    RGBD，拆开来看即为RGB+Depth。
    RGB色彩模式是工业界的一种颜色标准，是通过红(R )、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。
    而在3D计算机图形中，Depth Map是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中，Depth Map类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的，因而像素点之间具有一对一的对应关系。

图2 RGBD图像 图片来源：https://blog.****.net/donkey_1993/article/details/80781773

3.2RGBD相机

    RGBD深度相机是能够直接输出深度的相机，其中包括通过软件算法间接计算出深度和通过物理方法直接测深度信息。

图2 RGBD相机 图片来源：https://blog.****.net/qq_41665685/article/details/103476266

    其中，单目结构光相机是指有一个红外发射器和一个红外接收器，双目结构光是指有一个红外发射器和两个红外接收器。
    优点：

     1. 规避纯视觉技术的弱点：如图像缺乏纹理、光照不足、过度曝光、快速运动等
    2. 可以直接物理测距

    缺点：
     1.分辨率较低
    2. 一般不太适合室外使用，且受深黑色物体影响较大；

Reference

[1]https://blog.****.net/guolinlin11/article/details/49657829
[2]https://www.sohu.com/a/322547597_701739
[3]https://blog.****.net/donkey_1993/article/details/80781773
[4]https://blog.****.net/qq_41665685/article/details/103476266