• 作者投稿
  • 专家审稿
  • 编辑办公
  • 当期文章
  • 过刊浏览
  • 虚拟专辑
  • Vol. 54  期 2， 2024 2024年 54卷 第2期

    • 人工智能情感计算

      贾建,孙新娜,张瑞

      DOI：10.16152/j.cnki.xdxbzr.2024-02-001
      摘要：抑郁症作为常见的慢性精神障碍疾病，其致病原因复杂且康复率较低。基于头皮脑电图提出一种使用混合双线性深度学习网络完成抑郁症辅助诊断的方法。首先，将卷积神经网络提取得到的空间特征和卷积长短时记忆网络提取得到的时空特征通过双线性方法融合成二阶混合特征，构建时空特征混合双线性模型；然后，使用脑电信号各频段的功能连接矩阵进行训练，并用不同的功能连接度量方法分析脑电信号各频段与抑郁症功能连接之间的关系；最后，在MODMA公开数据集上应用此方法。实验结果表明，使用二阶混合特征的混合双线性模型在Beta频段相关性功能连接矩阵上取得99.38%的准确率，说明了Beta频段相关性功能连接矩阵的二阶混合特征在抑郁症辅助诊断中的有效性，与其他方法相比，所提方法达到了较高的准确率，具有较好的应用前景。  
      关键词：抑郁症;功能连接;卷积长短时记忆网络;双线性;二阶特征   
      6
      |
      0
      |
      0
      <HTML>
      <网络PDF><Meta-XML>
      <引用本文> <批量引用> 55299643 false
      发布时间：2024-04-19

    • 田昌宁,贺昱政,王笛,万波,郭栩彤

      DOI：10.16152/j.cnki.xdxbzr.2024-02-002
      摘要：多模态情感分析是指通过文本、视觉和声学信息识别视频中人物表达出的情感。现有方法大多通过设计复杂的融合方案学习多模态一致性信息，而忽略了模态间和模态内的差异化信息，导致缺少对多模态融合表示的信息补充。为此提出了一种基于Transformer的多子空间多模态情感分析(multi-subspace Transformer fusion network for multimodal sentiment analysis，MSTFN)方法。该方法将不同模态映射到私有和共享子空间，获得不同模态的私有表示和共享表示，学习每种模态的差异化信息和统一信息。首先，将每种模态的初始特征表示分别映射到各自的私有和共享子空间，学习每种模态中包含独特信息的私有表示与包含统一信息的共享表示。其次，在加强文本模态和音频模态作用的前提下，设计二元协同注意力跨模态Transformer模块，得到基于文本和音频的三模态表示。然后，使用模态私有表示和共享表示生成每种模态的最终表示，并两两融合得到双模态表示，以进一步补充多模态融合表示的信息。最后，将单模态表示、双模态表示和三模态表示拼接作为最终的多模态特征进行情感预测。在2个基准多模态情感分析数据集上的实验结果表明，该方法与最好的基准方法相比，在二分类准确率指标上分别提升了0.025 6/0.014 3和0.000 7/0.002 3。  
      关键词：多模态情感分析;Transformer结构;多子空间;多头注意力机制   
      12
      |
      0
      |
      0
      <HTML>
      <网络PDF><Meta-XML>
      <引用本文> <批量引用> 55299638 false
      发布时间：2024-04-19

    • 王坤侠,余万成,胡玉霞

      DOI：10.16152/j.cnki.xdxbzr.2024-02-003
      摘要：人脸表情识别是心理学领域的一个重要研究方向，可应用于交通、医疗、安全和刑事调查等领域。针对卷积神经网络(CNN)在提取人脸表情全局特征的局限性，提出了一种嵌入混合注意力机制的Swin Transformer人脸表情识别方法，以Swin Transformer为主干网络，在模型Stage3的融合层(Patch Merging)中嵌入了混合注意力模块，该方法能够有效提取人脸面部表情的全局特征和局部特征。首先，层次化的Swin Transformer模型可有效获取深层全局特征信息。其次，嵌入的混合注意力模块结合了通道和空间注意力机制，在通道维度和空间维度上进行特征提取，从而让模型能够更好地提取局部位置的特征信息。同时，采用迁移学习方法对模型网络权重进行初始化，进而提高模型的精度和泛化能力。所提方法在FER2013、RAF-DB和JAFFE这3个公共数据集上分别达到了73.63%、87.01%和98.28%的识别准确率，取得了较好的识别效果。  
      关键词：表情识别;Transformer;注意力机制;迁移学习   
      12
      |
      2
      |
      0
      <HTML>
      <网络PDF><Meta-XML>
      <引用本文> <批量引用> 55299644 false
      发布时间：2024-04-19

    • 吴晓,牟璇,刘银华,刘晓瑞

      DOI：10.16152/j.cnki.xdxbzr.2024-02-004
      摘要：针对当前多模态情感识别算法在模态特征提取、模态间信息融合等方面存在识别准确率偏低、泛化能力较差的问题，提出了一种基于语音、文本和表情的多模态情感识别算法。首先，设计了一种浅层特征提取网络(Sfen)和并行卷积模块(Pconv)提取语音和文本中的情感特征，通过改进的Inception-ResnetV2模型提取视频序列中的表情情感特征；其次，为强化模态间的关联性，设计了一种用于优化语音和文本特征融合的交叉注意力模块；最后，利用基于注意力的双向长短期记忆(BiLSTM based on attention mechanism，BiLSTM-Attention)模块关注重点信息，保持模态信息之间的时序相关性。实验通过对比3种模态不同的组合方式，发现预先对语音和文本进行特征融合可以显著提高识别精度。在公开情感数据集CH-SIMS和CMU-MOSI上的实验结果表明，所提出的模型取得了比基线模型更高的识别准确率，三分类和二分类准确率分别达到97.82%和98.18%，证明了该模型的有效性。  
      关键词：多模态;情感识别;并行卷积;交叉注意力   
      4
      |
      1
      |
      0
      <HTML>
      <网络PDF><Meta-XML>
      <引用本文> <批量引用> 55299642 false
      发布时间：2024-04-19
    查看更多
    0