论文翻译（6）--The time - frequency characteristics of EEG activities while recognizing microexpressions

识别微表情时脑电活动的时频特征
论文地址：
链接：https://pan.baidu.com/s/1A4-9U6x68e02MRt5UGYBFg
提取码：0onc
摘要
微表情(持续时间小于200 ms)对于判断人的真实情绪很重要。关于识别微表情时脑电图活动的时间-频率特征知之甚少。我们测验了与识别微表情和宏表情(持续时间超过200毫秒)相关的神经活动。将事件相关谱扰动(ERSP)输入到重复测量方差分析中，结果表明事件相关谱扰动持续时间的主要影响是显著的，与300 ms相比，在识别持续时间为40 ms的表达时，θ振荡(4 Hz至8 Hz)增加。结果表明，对微表情的识别依赖于与宏表情不同的脑机制。
关键词——时频分析；ERSP/ITC；微表情

引言

面部表情服务于重要的社会功能，情感面部表情的识别对日常生活至关重要，然而，情绪并不一定总是表现在脸上。在许多人际交往中，人们隐藏、掩饰或抑制自己的真实感受，导致部分或非常迅速地产生情感表达，这被称为微瞬间表达或微表达[2，3]。

微表情是一种持续1/25到1/5秒的面部表情，揭示了一个人试图隐藏的情绪[2，4]。微表情类似于一种普遍的情绪:厌恶、愤怒、恐惧、悲伤、快乐或惊讶。微表情通常发生在人们有有价值的东西可以获得或失去的高风险情况下[6]。根据埃克曼[7]的说法，微表情被认为反映了一个人的真实意图，尤其是敌意。因此，微表情可以为测谎提供必要的行为线索，并可以用来检测危险的行为[8]。

微表情和宏表情(持续时间大于200 ms)最重要的区别是持续时间[9]。然而，对微表情 的持续时间有不同的估计[10]。根据沈，吴和傅[10]的观点，至少有六种微表情持续时间的估计，200毫秒的持续时间可以作为区分微表情和宏表情。然而，尚不清楚脑电图在识别持续时间小于200毫秒的表情和持续时间大于200毫秒的表情时是否存在不同的时频特征。如果微表情和宏表情在性质上不同(从感知者的角度来看，它们应该被识别为不同的对象)，那么可以预期，在识别持续时间短于持续时间边界(200毫秒)的面部表情和持续时间长于200毫秒的面部表情之间存在不同的时频特征。

因此，我们旨在研究识别不同持续时间表情的时频特征，这有助于基于证据的微表情和宏表情的分离(即确定微表情和宏表情之间的边界)。换句话说，如果识别一组持续时间较短的表情和另一组持续时间较长的表情的时频特征存在差异，我们可以说这两组表情在本质上是不同的。因此，如果我们能在不同持续时间的表达式之间找到与事件相关的谱扰动和试验间相干性(ERSP//ITC)的差异，我们可以将具有不同ERSP//ITC特征的表达式分成两组。一组可以称为微表情(持续时间较短)，另一组可以称为宏表情(持续时间较长)。鉴于识别微表情和宏表情的行为差异以及对微表情持续时间的概念定义的分歧，我们旨在找到区分微表情和宏表情的边界(200毫秒)的电生理学证据。

研究脑振荡的功能相关因素是当前神经科学的一个重要趋势。传统的频谱分析不能完全解决快速变化的神经振荡问题。脑电图的时频分析使研究人员能够研究信号频谱随时间的变化，同时考虑到给定频率下脑电图信号的功率(或幅度)以及相位或潜伏期的变化[11-13]。最近的一些研究通过大脑振荡活动研究了从脑电图信号提取的情绪刺激的感知和分类机制，θ、α、β和γ带的振荡动力学，以及这些频率的相互作用与情绪刺激的处理有关[12]。因此，本研究探讨了在识别微表情和宏表情时脑电信号的动态振荡模式。

方法

A.参与者
从当地大学校园招募了12名没有神经损伤或障碍史的付费志愿者。所有参与者视力正常或矫正至正常，且主要是右撇子(自我报告)。
B.刺激与实验设计
30张照片由10个不同的人组成，他们表现出恐惧(消极)、快乐(积极)或中性的表情，这些照片选自《面部表情照片》(POFA，参见http: //www.paulekman.com)。一百个情感词由50个积极地和50个消极的汉语词组成。图片刺激为200×300像素，文字刺激为100×150像素。

我们使用了一种情感启动范式，其中一幅面部表情(快乐、恐惧和中性)的图片是主要的，一个情感词(积极和消极)是目标。因此，关于情绪效价的一致性，有三个条件(一致、不一致和控制)。
C.流程
参与者坐在昏暗、隔音的隔间里一把舒适的扶手椅上。使用启动范式呈现情绪面孔和词语。受试者被要求记住屏幕上显示的所有内容，以将注意力集中在任务上，并确保单词和图片的处理深度。在脑电图记录期间，没有对受试者施加其他任务，以避免将情绪处理的脑电图与反应选择和反应执行的运动相关的电生理活动混淆。

在由面部图片和情感词汇组成的试验中，刺激一次出现一个(见图1)。四个模块被分为暴露于面部照片的持续时间，分别为40、120、200和300毫秒。每个实验包括呈现面部表情图片，表达三种情绪中的一种，然后是一个积极或消极的情绪词，这适用于我们分析处理短暂微表情的时频特征的目的。每个区块有300次试验。四个模块的呈现顺序在受试者之间是随机的。每个区块的最后都有一个识别任务(参与者必须判断之前是否有包括图片和文字在内的一些项目出现)，准确度用来监测参与者的合作程度。由参与者控制的2分钟休息时间分隔每个连续的区块。
每个区块内的试验顺序是随机的。所有刺激都显示在刷新率为60赫兹的17英寸电脑屏幕上。一项试验中的刺激如图1所示。刺激以大约80厘米的观看距离呈现，并在计算机屏幕中心以合适的对比度(银灰色背景上的黑色字母)显示。实验设计如下:4个持续时间(40毫秒、120毫秒、200毫秒和300毫秒)× 3个一致性(一致性、不一致性、控制)。
D.电生理记录和分析
数据是从32通道NuAmps Quickcap、40通道NuAmps直流放大器和扫描4.5采集软件(美国北卡罗来纳州夏洛特的Compumedics Neuroscan，Inc .)获得的。脑电图数据记录自30个头皮部位(Fp1、Fp2、F7、F8、F3、F4、FT7、FT8、T3、T4、FC3、FC4、C3、C4、CP3、CP4、TP7、TP8、T5、T6、P3、P4、O1、O2、Fz、FCz、Cz、CPz、Pz和Oz)。NUAMPS(7181型)放大器的固定范围为130毫伏，用22位模数转换器采样，其中最低有效位为0.063 μV。在收集数据之前，对每个受试者的记录电极的阻抗进行监测，阈值始终保持在5K欧姆以下。放大器的增益设置为19，采样速率为1000赫兹，信号频带限制为70赫兹。此外，没有应用陷波滤波器。测量电描记图(EOG)以将其从脑电图记录中排除。垂直EOG (VEOG)由左眼上下2厘米处的电极记录，并与瞳孔一致。水平EOG (HEOG)由放置在距双眼外眦2厘米处的电极记录。接地电极位于Fz前10 mm处。右侧乳突电极(M2)被用作所有记录的参考，所有数据被离线重新参考到共同的平均参考。

脑电图后来被重建成离散的单次试验时期。时频分析基于单态信号。时频分析可以代表能量脑电信号的内容被时间锁定到联合时间-频率域中的事件，其中为时间-频率域信号中的每个时间点估计复数，产生时间和频率域信息。根据时间-频率分解，进行了事件相关频谱扰动(ERSP，频谱功率的平均变化(以分贝为单位，与基线相比))和试验间相干性(ITC，事件相关相位锁定，在某个独立组件或头皮通道的试验间脑电图相位相干性，时间箱和频率范围)分析(见Roach和Mathalon [11]，Makeig，Debener [15])。同时，一些脑电图研究表明，θ带活动与皮层下脑区相关，被认为是所有边缘结构的指纹，与情感过程有关[16]。因此，分析了θ带活动(4 Hz至8 Hz)的谱功率的平均变化。EEGlab v13 [17]用于时频分析。

结果

如图2A所示，与事件相关的光谱扰动的结果显示，持续时间为40毫秒和120毫秒的短暂面部表情的刺激后平均光谱功率是相似的(见红色实线框)，持续时间为200毫秒和300毫秒的面部表情具有相似的ERSP模式(见紫色虚线框)。
在图2A中，可以看到θ响应的振幅(4 Hz到8 Hz，传统上根据伯杰的研究采用；与持续时间较长(> 200毫秒)的表达式相比，持续时间较短(< 200毫秒)的表达式的概率更高。因此，从100毫秒到260毫秒的CPz的θ带活动的数据被输出，用于执行具有重复测量的单向方差分析。结果表明，持续时间是主要影响因素，F (3，33) = 3.238，p = .035，ηp2= .227。对具有四种持续时间水平的表情的θ反应的事后成对比较显示，持续时间为40 ms的表情的θ带识别活动显著高于200 ms和300 ms的θ带识别活动(p = .006p = .039)。比较发现持续时间为40毫秒和120毫秒的成对表达式或持续时间为200毫秒和300毫秒的成对表达式的θ响应没有显著差异(p = .308p = .920)。

讨论

目前的研究主要是为了找出微表情识别背后是否存在不同的时频特征。结果表明，微表情和宏表情的识别存在不同的ERSP/ITC特征。这些结果表明，不同的神经机制负责识别微表情和宏表情。同时，研究结果表明，识别持续时间小于200毫秒的表情和持续时间大于200毫秒的表情与不同的大脑机制有关。因此，我们进一步确认区分微表情和宏表情的表情持续时间的界限是200 ms。

最常被引用的关于微表情持续时间的描述是“微表情”(1/25–1/5秒)[4]。因此，持续时间是微表情和宏表情的核心区别。此外，正如ten Brinke和Porter [18]所指出的，微表情是“一种短暂但完整的面部表情”(第227页)。因此，区分微表情和宏表情的关键特征不是完整性(可能与情绪的强度有关)，而是表达的持续时间。考虑到持续时间是微表情的重要特征，在目前的研究中，我们控制了表情持续时间的水平(200毫秒的持续时间边界可以作为区分微表情和宏表情的边界，见沈，吴和傅[10])。我们预计识别持续时间小于200毫秒的表情(微表情)和持续时间大于200毫秒的表情(宏表情)应该有不同的时频特征。该发现证实了用于区分微表情和宏表情的表情持续时间的边界可以是200毫秒。识别持续时间小于200毫秒的表情和持续时间大于200毫秒的表情与不同的时频特征相关联。因此，我们可以把持续时间小于200毫秒的表达式称为微表情，把持续时间大于200毫秒的表达式称为宏表情。

本研究操作了面部表情的持续时间，并通过探索识别微表情和宏观表情的ERSP/ITC特征来检验持续时间对表情处理的影响。持续时间的主要影响清楚地表明了在识别不同持续时间的表情时持续时间对脑电图的影响。我们可以从图2A和2B看到，有两组ERSP/ITC，一组用于持续时间大于200毫秒的表情，另一组用于持续时间小于200毫秒的表情。

微表情通常比宏观表情引起更强的力量变化(图2A)，这可能被解释为与对识别短暂微表情施加的更大的认知资源需求有关。

微表情与欺骗密切相关，并被视为测谎的重要行为线索，但这一点存在争议。将微表情与欺骗联系起来是“一个巨大的维度飞跃”[8]。外，根据埃克曼的说法，由于政治原因，很少有发表过关于微表情的同行评议研究(有关评论，请参见温伯格[8])。因此，我们必须从起点，即微表情的概念，准确地知道微表情和宏表情的区别。目前的研究使用脑电图活动的时间-频率特征，同时将微表情识别为因变量，结果揭示了响应微表情和宏表情的几种不同的振荡神经元动力学。研究这些振荡神经元动力学及其与微表情和宏表情不同过程的联系，将继续促进我们对如何感知和识别它们的理解。通过研究它们的振荡神经元动力学，我们对我们如何感知和识别微表情和宏表情的理解将得到进一步增强。基于对微表情识别的这种理解，我们可以进一步探索微表情与欺骗之间的关联。虽然有争议，但微表情与欺骗密切相关，并被用作测谎的重要行为线索[19]。

总之，结果表明，微表情的处理依赖于不同于宏观表达的脑机制。而微表情和宏表情的界限可以是200 ms。

在未来，需要更多的研究来理解识别微表情的机制及其与欺骗的联系。此外，应该使用具有更大生态有效性的动态面部表情。大脑机制参与处理一些短暂的社会情绪，包括羞耻、内疚和自责[20]，微表情的基本特性[9]也应该探索。

生词短语

interpersonal situations人际关系
micro-momentary expressions 微观瞬间表情
high-stakes高风险
true intent真实意图
hostile nature敌意
lie detection测谎
detect a dangerous demeanor察觉危险的行为
qualitatively different本质上不同 different in nature
from the viewpoint of the perceiver从感知者的角度来看
discrepancy不符；矛盾；相差
Perturbation[数][天]摄动；不安；[电子]扰乱
Inter-trial Coherence试验间相干性
oscillations振动；振幅
fully address完全解决
latency[心理][生理]潜伏；潜在因素
the mechanisms of perception and categorization 感知和分类机制
normal or corrected-to-normal vision正常或矫正至正常视力
congruence一致；适合；[数]全等
emotional valence情绪效价
paradigm范例；词形变化表
dimly lit,灯光昏暗
sound damped隔音
booth.货摊；公用电话亭
displayed at a moderate contrast以合适的对比度显示
peer-reviewed studies 同行评审的研究