团队成员方伟杰等在ieee open journal of engineering in medicine and biology期刊上发表研究成果-z6尊龙旗舰厅

近日，团队成员方伟杰、汤立仁等在潘家辉教授和陈炳志研究员的共同指导下，在 esci 期刊 ieee open journal of engineering in medicine and biology发表研究论文《multimodal emotion recognition based on facial expressions, speech, and eeg》。本研究成果于2022年10月投稿，并于2023年1月录用并在线发表，发表网址为：

过去大多数情绪识别方法仅考虑了单一模态进行研究，考虑到不同模态信息在情绪识别中具有不同的优势和限制，融合多种模态信息可以弥补各种模态信息之间的缺失和误判，提高情绪识别的精度。文章提出了一种名为 deep-emotion 的多模态情绪识别框架，deep-emotion 是一个基于人脸表情、语音以及脑电的多模态情绪识别方法，用于提高情绪识别方法的准确率以及可靠性。所提出的情绪识别方法首先对三种模态进行相应的预处理操作，接着在特征提取方面 deep-emotion 采用改进的 ghostnet 网络对人脸表情特征提取，并针对语音信号和脑电信号分别设计了轻量级全卷积神经网络和树状 lstm 网络用于情感特征提取。同时，采用最优权重分布算法来充分挖掘各模态的权重分布关系并进行决策融合，从而得到多维度预测的情绪状态。deep-emotion 的可行性在开源数据集中得到了充分实验验证，结果表明，通过融合多种感知模态信息，利用三个模态充分的情感信息以及脑电信号足够客观的特点，在提高了情绪识别准确率的同时，可以减少单一模态的干扰提高情绪识别方法的鲁棒性。