全球首个机器比人更懂你可穿戴情感识别系统登上Nature子刊

  你懂他/她吗？他/她懂你吗？你是否经常因为无法共情他人，或者被共情而苦恼？

  人类情感是一种复杂而多变的心理健康状态，常常隐藏在“面具”之下，难以被他人准确理解。尽管面部表情、语言语调等非语言信号提供了一些线索，但任旧存在着许多挑战，使得人类之间的情感交流变得复杂而模糊。

  随着科技的慢慢的提升和人类对于智能化系统的需求日渐增长，情感识别技术作为人机交互领域的重要组成部分，正受到慢慢的变多的关注。

  传统的情感识别技术主要是基于面部表情、语音语调等人类非语言交流方式来进行分析，然而，这一些方法往往受到环境条件、个体差异等因素的限制，难以实现准确而高效的情感识别。

  由于情绪、心情和感觉等人类情感的抽象性和模糊性，理解和准确提取情感信息一直是个难题。

  因此，寻求一种能够在各种各样的环境下实现准确情感识别的新途径已然成为当前研究的重点之一。

  近日，来自蔚山科学技术院、南洋理工大学的研究团队，提出了全球首个实时可穿戴人类情感识别技术，并开发了一种多模态人类情感识别系统，该系统结合了语言和非语言表达数据，可有效利用全面的情绪信息。

  据介绍，该系统的核心是个性化皮肤集成面部界面（Self-powered Skin-interfaced Facial and Vocal Emotion Recognition Interface，PSiFI）系统，该技术基于自供电的摩擦电原理，通过特制的传感器单元，能够同时感知面部和声音表达所产生的信号，以此来实现对人类情感的准确识别。

  该论文的第一作者 Jin Pyo Lee 表示：“有了这个系统，只需几个学习步骤，无需复杂的测量设备，就能实现实时情感识别。这为未来的便携式情感识别设备和下一代基于情感的数字平台服务提供了可能性。”

  此外，研究团队还将该系统应用于 VR 环境（智能家居、私人影院和智能办公室等），通过识别个人在不一样的情况下的情绪，提供个性化的音乐、电影和书籍推荐。

  PSiFI 技术是一种基于生理信号的面部和声音表情感知界面。该技术利用 PDMS 和 PEDOT:PSS 等柔性、透明、可加工的材料构建传感器单元，用于捕捉人体面部和声音等生理信号，实现对情感状态的识别和监测。

  其中，PDMS 具有非常出色的柔软性和透明性，PEDOT:PSS 导电层可提供良好的电导性，这两者是构建 PSiFI 系统的关键材料。利用这些材料的可加工性和可调制性，能轻松实现 PSiFI 技术的构建和制备。

  图｜PSiFI 系统概述。A. PSiFI 包括摩擦电传感器（TES）、用于无线通信的数据处理电路以及用于面部表情和语音识别的深度学习分类器。B. 可穿戴面罩的 PSiFI 二维布局，并在面部紧张和声音振动等感官刺激方面描绘了两种不一样的 TES。C. 由电极层和介电层等简单两层结构组成的 TES 示意图以及 TES 组件的照片。比例尺：1 cm。D. TES 制造组件示意图。PEDOT:PSS 基电极是由半固化工艺制成的（左图）。考虑到应变和振动等传感刺激，介电层进行了不同的设计，以实现最佳的传感性能。中间的插图为应变型介电层的纳米结构表面的 SEM 图像，右侧插图显示作为振动型介电层的声孔的冲孔的照片。比例尺：2 μm 和 1 mm。

  PSiFI 系统由 PDMS 基底、PEDOT:PSS 导电层和声学孔组成。PDMS 提供柔软性和舒适性，PEDOT:PSS 导电层用于传输信号，声学孔用于增强传感器的灵敏度和性能。

  将 PDMS 的基础材料与固化剂按照特殊的比例混合，并在真空脱气后在基板上涂覆形成所需薄膜。通过混合 PEDOT:PSS 的水性分散液和添加剂，然后在基板上涂覆和固化形成导电层。

  图｜应变传感单元的工作机理及表征。A. 应变传感单元的示意图。插图：检测面部应变的传感单元的放大视图。B. 应变传感单元在屈曲和拉伸状态下的电位分布。

  通过特定的涂覆和固化方法将 PDMS 和 PEDOT:PSS 层结合形成传感器单元。利用激光切割技术在 PDMS 基底上制备声学孔，从而增强传感器的灵敏度和响应性。

  图｜振动传感单元的工作机制和表征。A. 振动传感单元的示意图。插图：检测声带振动的传感单元的放大视图。B. 工作循环期间传感单元的电势分布。C. 用于声音振动传感器的孔图案配置示意图以及 32 孔配置中孔的 SEM 图像。比例尺：2 mm（插图：显示声孔的放大视图。比例尺：400 μm）。

  在搭建好 PSiFI 系统之后，为确保其性能，研究团队进行了一系列测试。

  首先，研究人员使用光谱仪对 PSiFI 系统的透明性来测试。结果显示，PSiFI 系统在可见光范围内拥有非常良好的透明性，允许光线穿透，使得用户能舒适地佩戴 PSiFI 设备而不感到遮挡或阻碍。

  然后，研究人员对此进行了拉伸实验和弯曲实验，以验证 PSiFI 系统在各种形变下的柔韧性和稳定能力。实验根据结果得出，即使在受到拉伸或弯曲时，PSiFI 系统仍能保持其结构完整性和性能稳定性，表现出优异的柔韧性。

  他们使用 PSiFI 传感器对面部运动信号进行采集，并利用先进的算法做处理和分析。根据结果得出，通过监测面部肌肉的微小运动变化，PSiFI 系统能够准确捕捉和记录不同情感状态下的面部表情特征。

  此外，研究团队还利用 PSiFI 技术对声音信号进行采集，并通过声学分析办法来进行情感识别。结果显示，PSiFI 系统可以有明显效果地地捕捉和分析声音的频率、振幅和其他特征，从而识别出言语中所蕴含的情感信息。

  研究团队表示，在未来，PSiFI 技术能应用于情感识别领域，通过监测面部和声音信号，识别出个体的情感状态，为智能医疗系统提供情感健康监测和诊断服务。

  在人机交互领域，PSiFI 技术也可以与智能设备集成，实现人机自然交互。例如，在虚拟现实环境中，PSiFI 技术能用于感知用户的情感状态，以此来实现更加智能化和个性化的用户体验。

  在机器人方面，PSiFI 技术则可应用于情感智能机器人领域，使机器人能够识别和理解人类的情感表达，从而更好地与人类交流和互动。

  首先，PSiFI 技术的传感器需要具备高灵敏度，从而准确捕捉和分析微弱的面部和声音信号，但目前传感器的灵敏度还有待进一步提升。这能够最终靠优化传感器的结构和材料选择，提高传感器的灵敏度和稳定能力，使其更适用于不同情境和环境下的情感识别任务。

  此外，PSiFI 技术需要处理大量的生理信号数据，并进行复杂的数据分析和算法处理，这对数据处理能力提出了挑战，需要更加高效和智能的算法和处理平台。在未来，可以开发更加高效和精确的数据处理算法，提高 PSiFI 技术对生理信号的分析和识别能力，从而提升情感识别的准确性和可靠性。

  当然，这项技术结合了生物医学、工程学、心理学等领域的专业相关知识和技术，需要更加多的跨学科合作，来一同推动 PSiFI 技术的发展和应用，拓展其在智能医疗、人机交互等领域的应用前景。

  近年来，情感识别技术在人机交互、医疗健康等领域得到了广泛关注和研究。除了 PSiFI 技术，还有许多其他相关研究取得了重要进展。

  例如，基于图像处理和深度学习的面部表情识别技术，以及基于声音信号处理和模式识别的语音情感识别技术等。这些研究成果为情感识别技术的发展提供了丰富的技术方法和方法。

  随着 PSiFI 等创新技术的不断出现和应用场景的继续扩展，在不久的将来，人们或许能更智能、更加自然地与智能设备和系统来进行交互，医疗健康管理也将变得更个性化和精准。