您当前的位置:
首页 >
学术资讯列表页 >
2021年第1期专题:情感脑机接口
2021年第1期专题:情感脑机接口
发布时间:2021-10-08
  • 2021年第1期专题:情感脑机接口

    畅想一下未来人类社会的生活场景,各式各样的服务机器人为人们提供周到、温馨的服务,能够感知周围环境和用户状态变化的智能人机交互将无处不在。尽管人们现在还无法准确地估计这个场景将会在何时出现,但是随着通用人工智能和相关科学技术的发展,这一场景的到来是毋庸置疑的。

    不难想象,为了让未来服务机器人实现上述功能,不仅需要服务机器人能自然、友好地与人对话,而且还需要服务机器人能准确地理解人的情绪。当前人机交互模式已经取得了很大的变革和进展,在人们生活和工作中发挥着重要作用,但与自然友好的人机交互模式还有很大的距离。情感智能正是为了弥补机器与人之间的这个巨大鸿沟而发展起来的新的人工智能研究分支。

    情感脑机接口是目前情感智能研究的热点,也是实现情感智能的重要途径之一。简单地说,情感脑机接口是一种识别和调控人的情绪的人机交互系统。近年来,随着人工智能和深度学习的广泛应用以及情感科学的兴起,情感脑机接口引起了学术界和产业界的广泛关注。本刊于2020年8月31日发起了“情感脑机接口”专题征文,经同行评议录用5篇文章,内容涉及情感脑机接口的若干研究进展,包括基于脑功能连接的情绪解码、脑机协同智能、多模态情感模型以及跨被试的情感模型等。

    吕宝粮等人撰写的《情感脑机接口研究综述》概述了情感脑机接口的基本概念、工作原理以及脑电信号的基本特性,重点介绍了情绪诱发实验、情绪类别的标注、情绪脑电数据集,以及跨被试/跨模态情感模型和多模态情感模型,并对代表性的情感脑机接口应用和正在开发的情感脑机接口应用系统进行了介绍,总结了情感脑机接口对通用人工智能研究可能发挥的作用和情感脑机接口有待解决的问题。

    情感脑机接口的重要研究目标之一是情绪识别和解码。沈新科等人撰写的《基于脑电功能连接微状态的情绪状态解码》设计并实现了脑电功能连接微状态方法,将不同情绪状态下的脑区间的动态功能连接模式聚集为具有代表性的微状态,并将微状态的覆盖比例、转移概率等指标作为特征用于情绪解码,验证了情绪解码的可行性,为深入理解情绪的神经机制提供了启发。

    值得注意的是,由于脑电信号的个体差异性,即不同人的脑电数据有着不同的数据分布,传统的机器学习和深度学习方法无法很好地针对脑电数据建立泛化能力强的情感脑电识别模型。高寒冰等人撰写的《基于多源域自适应的跨被试情感脑电识别》将每个被试看作一个单独的域,建立了基于脑电的多源域跨被试情感识别模型。该方法将面向时序数据的卷积深度域自适应模型应用于情感脑电分类任务,对多源域的情感脑电数据进行分类。在公开的情感脑电数据集SEED上的实验结果表明,与非迁移和单源域迁移模型相比,多源域迁移模型有更好的跨被试特征提取和分类能力。

    在脑机协同智能方面,刘栋军等人撰写的《基于脑机协同智能的情绪识别》提出了一种脑机协同智能的情绪识别方法。为了充分利用大脑的认知表征能力,作者提出通过随机森林回归模型建立图像视觉特征与脑电情感特征之间的脑机映射关系。一旦稳定建立了该关系,就可以通过图像视觉特征产生虚拟脑电情感特征,最终将虚拟脑电情感特征与图像视觉特征进行融合并用于情绪识别。该论文探讨了机器学习人类大脑高级认知的可能性,展望了脑机协同智能的情绪识别在算法和应用上面临的挑战。

    在情绪识别领域,多模态信号的使用以及多模态融合算法的应用得到了越来越多的关注。凌文芬等人撰写的《基于3D分层卷积融合的多模态生理信号情绪识别》提出了基于3D分层卷积的多模态融合模型,充分挖掘多模态交互关系,准确刻画情感信息。模型从多模态初级情感表征信息、多模态特征两两交互以及多模态特征全局交互多个层次得到了最终的融合特征,并在公开数据集上验证了模型对多模态融合及情绪识别的有效性。

    本专题得到了专题编委、作者、审稿专家和编辑的支持和帮助。在此,表示诚挚的感谢!希望本专题的出版能为从事情感脑机接口和情感智能研究的相关人员提供参考。


    吕宝粮(1960-),男,IEEE Fellow,上海交通大学计算机科学与工程系教授、博士生导师,上海交通大学计算机科学与工程系仿脑计算与机器智能研究中心主任,上海交通大学上海市智能交互与认知工程重点实验室主任,上海交通大学医学院附属瑞金医院脑机接口与神经调控中心共同主任,上海交通大学医学院附属瑞金医院脑病中心米哈游联合实验室主任,上海交通大学清源研究院执行院长。长期致力于仿脑计算理论与模型、神经网络、情感智能和情感脑机接口的基础算法及其在情感障碍疾病诊疗应用等方向的研究。亚太神经网络学会理事,IEEE Transactions on Cognitive and Developmental Systems、《模式识别与人工智能》《智能科学与技术学报》编委。曾获得2018 IEEE Transactions on Autonomous Mental Development最佳论文奖和2020年度第十届吴文俊人工智能科学技术奖自然科学奖一等奖。

         林进灯(1963-),男,IEEE Fellow,IFSA Fellow,悉尼科技大学工程和信息技术学院教授。长期从事计算智能和脑机接口领域的理论与应用研究,致力于将计算智能和智能信息技术与认知神经科学结合,通过学科交叉,

  • 0