多模态情绪分析研判系统

　　一、系统概述

　　（一）系统背景

　　多模态情绪分析研判系统是公安机关全面推进重要业务系统的辅助平台。通过该项目的建设， 使公安机关审讯办案的工作科技含量大量提高，提高审讯的工作效率，强化重大案件的联合侦破工作。使广大干警工作人员能够及时获取审讯关键点，提高公安机关的整体办案能力。

　　系统建设采用通信技术、计算机技术、声像技术、多媒体技术、人工智能技术等多种先进成熟的技术，结合管理科学和行为科学，建成为公安机关查办大要案工作的指挥、协调提供强有力保障 的系统工程。

　　（二）适用业务

　　多模态情绪分析研判系统是国内首家针对公安审讯业务场景，进行定制化设计的多模态智能情绪分析系统。通过微表情、心率、血压等多模态数据分析，全方位辅助民警研判，提高其办案效率。

　　二、核心技术

　　（一）实时微表情识别

　　通过交互式视频对话，以审讯监控为基础，实时监测嫌疑人面部数据，包括 8 种微表情（平和、 高兴、伤心、生气、惊讶、害怕、轻蔑、厌恶），22 种面部肌肉动作，68 个特征点。并通过深度学习的方式进行微表情识别。

　　（二）实时生理特征识别

　　基于图像处理技术的非接触式心率检测-光电容积脉搏波描记术 PPG，结合人脸面部数据采集终端实时展示嫌疑人的心率、血压、呼吸等生理指标。

　　（三）实时语音情绪识别

　　通过拾音器实时检测嫌疑人声音数据，结合系统将声音转化为声强数据，并通过声强数据提取韵律性特征来识别语音中的情感，包括（高兴、伤心、生气、惊讶、害怕、厌恶）。

　　三、产品形态

　　（一）多类型终端设备自由搭配

　　一体式智能终端分为 4 种终端，外观科技时尚，适用于审讯室数量不多的部署环境，算法及软件集成部署到一体式终端。根据客户的实际应用场景，选择相应一体式终端直接嵌入（桌面摆放） 客户自有的审讯桌，提升审讯桌的科技感及创新性。

　　四、创新点

　　（一）自主研发的国内领先算法系统

　　云思创智自主研发的算法系统分别对生理信号，人体姿态信号，文本语义信号，语音声纹信号， 面部表情图像信号等多模态语义进行分析、关联和映射，将每一个单模态里的语义信息对情绪变化 的反映程度进行融合、对应和推理得出更加完整、准确的情绪心理状态。

　　（二）非接触式生理指标检测

　　产品采用非接触式方式进行数据采集，通过摄像头对嫌疑人的微表情、心率、血压等生理特征进行检测，心率检测准确率≥95%，可有效减轻嫌疑人的戒备心理；灵活部署的方式，可适应多元化 场景应用，更好的突破嫌疑人心理防线。

　　（三）问题与告警精准对应

　　系统融入了语音转写功能，通过语音转写将审讯问题实时转化为文字，并与嫌疑人异常心理告警信息精准关联，两者实时同步显示，直观、有效地提醒民警持续关注嫌疑人在审讯中所存在的异常点，减轻民警在审讯期间所投入的精力，以便于更好的辅助其分析研判，进一步提高办案效率。

　　五、运用成效

　　（一）操作简单，易上手

　　产品将算法及软件集成部署到一体式终端，无需复杂的部署环境，即开即用，且操作界面简单， 不需要复杂的培训流程，短时间即可上手，增强用户产品体验，提升对其友好性；

　　（二）心理、生理指标数据可视化

　　数据通过数字和图谱的形式展示，可直观、明确且精准的展示嫌疑人的心理指标数据以及心理异常信息，并可通过图谱的形式实时掌握嫌疑人心理变化趋势，对基层人员提供最大的便利；

　　（三）成熟、可靠、实用、安全的国内领先技术支撑

　　我们充分考虑数字化技术的迅速发展趋势，采用先进技术设备，特别是审讯直录，以优越的性 能保证系统的档次；在使用过程中，采用成熟、可靠、实用的技术和产品，确保公安局审讯工作的顺利实现；审讯结束后，对录制资料采用视频加密和播放加密方式，防止资料篡改。

　　（四）友好的接口开放性，易于二次开发

　　采用国家和行业标准进行设计，以良好的开放性保证系统的兼容性，可快捷对接第三方笔录等 系统；4 种不同的终端形态，以及非接触式的人工智能技术，使其具有可靠、自然、不易察觉、兼容、多样等特点，能够无缝地融入现有的公安模式。

　　责任编辑：广汉