DEAP:使用生理信号进行情绪分析的数据库(二、实验设计与主观分析)
来源CSDN网友HaZyiCe的授权分享
在此非常感谢HaZyiCe！
本篇文章是关于用于情绪分析的生理信号数据库DEAP简介的第二部分：实验设计与主观分析，用于情绪分析的生理信号数据库DEAP简介内容包括创建该数据库的目的、实验的设计、数据的采集以及实验的分析等。
关于DEAP数据集的介绍，社区之前也介绍过一些《DEAP数据集--一个重要的情绪脑电研究数据集(更新)》、《用于情绪识别的生物信号数据集汇总》。
数据获取地址:
http://www.eecs.qmul.ac.uk/mmv/datasets/deap/
http://www.eecs.qmul.ac.uk/mmv/datasets/deap/download.html
导读
研究人员提出了一个分析人类情感状态的多模态数据集DEAP。该数据集来源于记录32名参与者的脑电图(EEG)和周围生理信号，每个人观看40段一分钟长的音乐视频片段。参与者根据唤醒，效价，喜欢/不喜欢，主导和熟悉程度对每个视频进行评分。在32位参与者中，有22位还录制了正面面部视频。提出了一种新颖的刺激选择方法，该方法通过使用来自last.fm网站的情感标签进行检索，视频高亮检测和在线评估工具来进行。提供了对实验过程中参与者评分的广泛分析。脑电信号频率和参与者的评分之间的相关性进行了调查。提出了使用脑电图，周围生理信号和多媒体内容分析方法对唤醒，效价和喜欢/不喜欢的等级进行单次试验的方法和结果。最后，对来自不同模态的分类结果进行决策融合。该数据集已公开提供，研究人员鼓励其他研究人员将其用于测试他们自己的情感状态估计方法。
第一部分、背景介绍与刺激选择
DEAP:使用生理信号进行情绪分析的数据库(一、背景介绍与刺激选择)
第二部分、实验设计与主观分析
3、实验设置
3.1材料与设置
实验是在两个受控照明的实验室环境中进行的。使用Biosemi ActiveTwo系统4在专用的记录PC（奔腾4,3.2 GHz）上记录脑电图和周围生理信号。使用专用的刺激PC（奔腾4,3.2 GHz）显示刺激，该PC直接将同步标记发送到记录PC。为了演示刺激并记录用户的评分，使用了Neurobehavioral系统5的“演示”软件。音乐视频显示在17英寸的屏幕上（1280×1024，60 Hz），并且为了最大程度地减少眼球运动，所有视频刺激均以800×600的分辨率显示，约占屏幕的2/3。受试者坐在离屏幕约1米的地方。使用立体声飞利浦扬声器，并且将音乐音量设置为相对较大的音量，但是在实验之前，每个参与者都被询问音量是否舒适，并在必要时进行调整。
使用32个有源AgCl电极（根据国际10-20系统放置）以512 Hz的采样率记录EEG。还记录了13个外围生理信号（将在6.1节中进一步讨论）。此外，对于32位参与者中的前22位，使用Sony DCR-HC27E消费级便携式摄像机以DV质量录制了正面面部视频。面部视频未在本文的实验中使用，但已与其余数据一起公开提供。图3示出了用于采集周围生理信号的电极放置。
图2.在线评估中每个视频的分级的μx/σx值。选择用于实验的视频以绿色突出显示。
对于每个象限，最极端的视频都有详细的歌曲标题和视频截图。
3.2实验协议
32名健康参与者(50%女性)，年龄在19岁到37岁之间(平均年龄26.9岁)，参加了实验。在实验之前，每个参与者都要签署一份同意书并填写一份问卷。接下来，给他们一组阅读说明，告诉他们实验方案和用于自我评估的不同量表的含义。一名实验者也在场回答任何问题。当指示清楚后，被试被领进实验房间。在放置传感器并检查其信号之后，参与者进行了一次模拟试验，以熟悉系统。在这个没有记录的试验中，播放了一个简短的视频，然后参与者进行了自我评估。接下来，实验者开始记录生理信号并离开房间，然后按下键盘上的一个键开始实验。
实验以2分钟的基线记录开始，在此期间向参与者展示一个固定十字架(在此期间要求参与者放松)。然后，40个视频在40个试验中呈现，每个试验包括以下步骤:
1)显示当前试验编号的2秒屏幕，告知受试者试验进展情况。
2) 5秒基线记录(注视交叉)。
3)音乐视频1分钟显示。
4)对唤起、情感、喜好和支配能力的自我评估。
20次试验后，参与者休息了一小会儿。在休息期间，他们会得到一些饼干和不含咖啡因、不含酒精的饮料。然后实验者检查了信号的质量和电极的位置，参与者被要求继续第二部分的测试。图4显示了实验开始前不久的参与者。
图3.周边生理传感器的放置。电极用于记录EOG和4的肌电图(大颧肌和斜方肌)。
此外，测量GSR、血容量压(BVP)、体温和呼吸。
3.3参与者自我评估
在每个试验的最后，参与者对他们的兴奋程度、情感、喜好和支配能力进行了自我评估。使用自评人体模型(SAM)[37]对量表进行可视化处理(见图5)。人体模型显示在屏幕的中间，数字1-9打印在下面。参与者将鼠标严格水平移动到数字下方，然后点击以显示他们的自我评估水平。参与者被告知，他们可以点击数字下面或数字之间的任何地方，从而使自我评估成为一个连续的量表。
图4.实验前不久的一名参与者
图5.用于自我评估的图像。
从顶部开始：Valence SAM，Arousal SAM，Dominance SAM，喜欢。
效价范围从不快乐或悲伤到快乐或快乐。唤醒量表的范围从平静或无聊到刺激或兴奋。支配性量表的范围从顺从(或“无控制”)到支配(或“有控制，有权力”)。第四个量表要求参与者对视频的个人喜好。最后一个量表不应该与效价量表相混淆。这项测试询问的是参与者的品味，而不是他们的感受。例如，喜欢让人感到悲伤或愤怒的视频是可能的。最后，在实验结束后，参与者被要求对每首歌的熟悉程度打分，从1分(“实验前从未听过”)到5分(“非常熟悉这首歌”)。
4、主观评分分析
在这一节中，我们描述了情感刺激对参与者的主观评分的影响。首先，我们将提供描述性统计的记录评分喜欢，效价，唤醒，支配和熟悉。其次，我们将讨论不同评级之间的协变。
选择刺激以在效价-唤醒度空间的四个象限（LALV，HALV，LAHV，HAHV）中诱发情绪。来自这四个影响的诱发条件的刺激通常会导致选择目标时的目标情绪的激发，从而确保掩盖了效价-唤醒度平面（AV平面）的大部分（见图6）。Wilcoxon符号秩检验表明，低和高唤醒度刺激引起不同的效价等级（p <.0001和p <.00001）。同样，低效价和高效价刺激会引起不同的唤醒度等级（p <.001和p <.0001）。
图6.所示四种情况(LALV、HALV、LAHV、HAHV)刺激在唤醒–效价平面上的平均位置。喜欢是由颜色编码的:暗红色代表低喜欢，明黄色代表高喜欢。
显性由符号大小编码:小符号代表低显性，大符号代表高显性。
情绪激发在高刺激条件下效果特别好，对各个刺激产生相对的最高效价评级。低激发条件下的刺激在激发强烈的效价反应方面不太成功。此外，根据在线研究，LAHV病情的某些刺激引起的觉醒高于预期。有趣的是，这导致效价-唤醒度平面上的刺激呈C形，这在国际情感图片系统（IAPS）[18]和国际情感数字声音系统（IADS）[38]的有效评级中也观察到，表示通常很难以高效价但低唤醒度的方式来诱导情绪。每个条件下各个评分的分布（见图7）显示，条件之间的差异很大，这是由刺激之间和参与者之间的变化引起的，可能与刺激特征或音乐品味，总体情绪或音阶的个体差异有关解释。但是，条件之间在效价和唤醒度方面的显着差异反映了目标情感状态的成功诱导（参见表2）。
表2
不同情感激发条件下的喜好度(1-9分)、效价(1-9分)、唤起度(1-9分)、支配度(1-9分)、熟悉度(1-5分)的平均值(和标准差)。
不同规模和条件下的评级分布表明评级之间存在复杂的关系。我们探讨了参与者不同量表的平均相互关系（参见表3），因为它们可能表明习惯或疲劳的可能混杂或有害影响。我们观察到喜好与效价之间以及优势与效价之间存在高度正相关。貌似，在不暗示任何因果关系的情况下，人们喜欢音乐，这种音乐给了他们积极的感觉和/或授权的感觉。唤醒度与主导之间，唤醒度与喜好之间存在中等正相关。熟悉程度与喜好和效价呈正相关。正如上面已经观察到的那样，效价和唤醒度的量表不是独立的，但是它们的正相关性很低，这表明参与者能够区分这两个重要的概念。刺激顺序对喜好和支配等级的影响很小，与其他等级没有显着关系，这表明习惯和疲劳的影响保持在可接受的最低水平。
综上所述，情感诱导在总体上是成功的，尽管低效价条件在一定程度上受到中等效价反应和较高唤醒的影响。观察到的高尺度的相互关联仅限于配价与喜好和支配的关系，这可能在音乐情感的语境中被期待。其余量表之间的相互关系强度较小或中等，表明量表概念被参与者很好地区分。
5、脑电图与评分的相关性
为了研究主观评分与脑电图信号的相关性，将脑电图数据进行共同平均引用，降采样至256 Hz，利用EEGlab 6工具箱用2 Hz的切换频率进行高通滤波。我们用盲源分离技术去除了人工制品。然后，提取每个试验(视频)最后30秒的信号进行进一步分析。为了校正与刺激无关的功率随时间的变化，将每个视频前5秒的脑电图信号提取为基线。
图7.四种情感诱发条件(LALV、HALV、LAHV、HAHV)的主观评分(L-综合评分、V-效价、A-唤起、D -优势度、F-熟悉度)的分布。
表4
与量表相关性显著的电极(*=p < .01， **=p < .001)。还显示了主相关系数(¯R)、最负相关系数(R−)和最正相关系数(R +)的平均值。
表3
所有40个刺激的效价、唤醒度、喜好、支配、熟悉程度和呈现顺序(即时间)之间的主观相关。根据Fisher方法，显著相关(p<.05)由星星表示。
采用Welch方法提取试验频率和3 ~ 47Hz之间的基线，窗口为256个样本。然后从试验功率中减去基线功率，得到相对于刺激前时期的功率变化。这些功率的变化在(3 - 7赫兹)、(8 - 13赫兹)、(14 - 29赫兹)和(30 - 47赫兹)的频带上取平均值。对于相关统计，我们计算了权力变化和主观评分之间的Spearman相关系数，并计算了左尾(正)和右尾(负)相关检验的p值。我们分别对每个参与者进行了这项工作，假设[39]是独立的，那么每个相关方向(正/负)、频带和电极的32个p值将通过Fisher’s方法[40]合并为一个p值。
图8显示了显著(p < .05)相关电极的(平均)相关性。下面我们将只报告和讨论p < .01时显著的影响。表4列出了各种影响。
对于唤醒度，我们发现theta，alpha和gamma波段呈负相关。较高唤醒度的*α功率降低与我们较早的先导研究[35]的发现相符，并且在[41]，[42]之前已经报道了α功率与一般唤醒水平之间存在反比关系。
图8：效价，唤醒度和总体评分与theta（4-7 Hz），alpha（8-13 Hz），beta（14- 29 Hz）和gamma（30-47 Hz）。突出显示的传感器与额定值显着相关（p <.05）。
效价显示出与脑电信号的最强相关性，并且在所有分析的频带中都发现了相关性。在低频theta和alpha中，效价的增加导致功率的增加。这与试点研究的结果一致。这些影响在枕骨区域，因此在视觉皮层上的位置，可能表明这些影响是相对的失活或自上而下的抑制，这是由于参与者专注于愉悦的声音所致[43]。对于β频段，我们发现在飞行员中也观察到了*下降，并且枕骨和右颞骨的功率增加。[44]，对右侧颞部部位的增强的β能力与积极的情绪自我诱导和外部刺激有关。类似地，[45]报道了价态和高频功率的正相关，包括前颞脑来源的β和γ带。相应地，我们观察到左，尤其是右颞伽马力的显着增加。但是，应该提到的是，EMG（肌肉）活性在高频中也很突出，尤其是在前电极和颞电极上[46]。
在所有分析的频带中都发现了相似的相关性。对于θ和α屈光力，我们观察到左额*皮层的增大。喜欢可能与进场动机有关。然而，观察到较高的喜好导致左α力量增加与左额叶**的发现相冲突，导致该区域的α降低，这通常被报道为与进场动机有关的情绪[47]。当考虑到一些不喜欢的片段很可能引起愤怒的感觉（由于不得不听它们，或者仅仅是由于歌词的内容）而引起的矛盾时，这种矛盾可能会得到解决，这也与进场动机有关，因此可能导致alpha向左减少。在β和γ谱带中发现的正确的颞部增大与所观察到的效价相似，应谨慎行事。通常，图8中所示的效价和喜好相关性的分布看起来非常相似，这可能是上述量表之间高度相关的结果。
综上所述，我们可以指出，观察到的相关性部分符合试点研究和其他研究中探索情感状态的神经生理学相关性的观察结果。因此，在多模态音乐刺激的背景下，它们可能被视为情感状态的有效指标。然而，平均相关性很少大于±0.1，这可能是由于参与者之间在脑**方面的高变异性造成的，因为在相同的电极/频率组合下，在给定的尺度相关性下观察到±0.5之间的个体相关性。这种高的参与者间变异性的存在证明了参与者特有的分类方法是正确的，正如我们所使用的，而不是针对所有参与者的单一分类器。
作者博客地址：
https://blog.csdn.net/weixin_44939026/article/details/104964961
文章来源于网络，仅用于学术交流，不用于商业行为，若有侵权及疑问，请后台留言！
更多阅读
DEAP:使用生理信号进行情绪分析的数据库(一、背景介绍与刺激选择)
脑机接口BCI学习交流QQ群：515148456