一种基于跨模态超图的行为意图识别方法、系统及终端
申请人信息
- 申请人:哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
- 申请人地址:518055 广东省深圳市南山区西丽平山一路6号
- 发明人: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于跨模态超图的行为意图识别方法、系统及终端 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410247777.1 |
| 申请日 | 2024/3/5 |
| 公告号 | CN117828281A |
| 公开日 | 2024/4/5 |
| IPC主分类号 | G06F18/10 |
| 权利人 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) |
| 发明人 | 任卫红; 董潜; 高宇; 王志永; 王焦乐; 刘洪海 |
| 地址 | 广东省深圳市南山区桃源街道深圳大学城哈尔滨工业大学校区 |
摘要文本
本发明公开了一种基于跨模态超图的行为意图识别方法、系统及终端，所述方法包括：获取目标对象在目标时间段内的多个不同的片段模态特征，对每个片段模态特征进行时域信息增强处理和跨模态增强处理，得到每个片段模态特征对应的单模态增强特征和跨模态增强特征，再得到跨模态超图中每个节点对应的擦除前时域特征、擦除前空域特征、擦除后时域特征和擦除后空域特征，进行融合得到最终融合特征，最后根据最终融合特征得到目标对象的行为预测结果。本发明结合使用了物理信号和生理信号，充分利用了不同模态之间信息的互补性，在时间维度和空间维度实现跨模态的交互和增强，能够有效消除模态间的不确定性，实现对患者的认知与行为检测。
专利主权项内容
1.一种基于跨模态超图的行为意图识别方法，其特征在于，所述基于跨模态超图的行为意图识别方法包括：获取目标对象在目标时间段内的多个不同的模态信号，并根据所述目标时间段和每个所述模态信号进行预处理，得到每个所述模态信号对应的多个片段模态特征；根据所有所述片段模态特征构建跨模态超图，并对所述跨模态超图中的每个片段模态特征进行时域信息增强处理，得到每个所述片段模态特征对应的单模态增强特征；根据跨模态注意力机制计算每个所述片段模态特征对应的跨模态增强特征，并根据每个所述片段模态特征对应的跨模态增强特征得到所述跨模态超图中每个节点对应的擦除前时域特征，根据每个所述节点的片段模态特征获得每个所述节点对应的擦除前空域特征；根据每个所述片段模态特征对应的单模态增强特征和跨模态增强特征对所述跨模态超图进行时间擦除处理，并获取时间擦除处理后的跨模态超图中每个节点对应的擦除后时域特征和擦除后空域特征；将所有所述擦除前时域特征、所有所述擦除前空域特征、所有所述擦除后时域特征和所有所述擦除后空域特征进行融合处理，得到最终融合特征，并根据所述最终融合特征得到所述目标对象在目标时间段内的行为预测结果。 来源：马 克 数 据 网