← 返回列表
一种精神状态分析系统、电子设备及存储介质
摘要文本
本发明提供一种精神状态分析系统、电子设备及存储介质，其中，系统包括：多模态特征提取模块、跨模态注意力模块和精神状态检测模块；所述多模态特征提取模块将长音视频转换为图像序列和语音片段，并且提取面部特征和音频特征；将所述面部特征和音频特征输入所述跨模态注意力模块，探索图像和音频模态之间的关系，提取受试者的情绪特征值；将所述情绪特征值输入精神状态检测模块，以获取受试者当前的精神状态。本发明提出的方案能够使用单个跨模态注意力模块对音视频的特征进行精神状态特征值的提取，以该特征进行抑郁、焦虑和疲劳状态的检测分析，有更高的识别精确度，并且可以提供更多的分析信息。 （更多数据，详见专利查询网）
申请人信息
- 申请人:清华大学
- 申请人地址:100044 北京市海淀区清华园1号
- 发明人: 清华大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种精神状态分析系统、电子设备及存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311851006.5 |
| 申请日 | 2023/12/29 |
| 公告号 | CN117617975A |
| 公开日 | 2024/3/1 |
| IPC主分类号 | A61B5/16 |
| 权利人 | 清华大学 |
| 发明人 | 陶建华 |
| 地址 | 北京市海淀区清华园 |
专利主权项内容
1.一种精神状态分析系统，其特征在于，所述系统包括：多模态特征提取模块、跨模态注意力模块和精神状态检测模块；所述多模态特征提取模块将长音视频转换为图像序列和语音片段，并且提取面部特征和音频特征；将所述面部特征和音频特征输入所述跨模态注意力模块，探索图像和音频模态之间的关系，提取受试者的情绪特征值；将所述情绪特征值输入精神状态检测模块，以获取受试者当前的精神状态。