← 返回列表
基于多模态双线性池化的运动模式识别方法、装置及介质
申请人信息
- 申请人:之江实验室
- 申请人地址:311121 浙江省杭州市余杭区中泰街道科创大道之江实验室
- 发明人: 之江实验室
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于多模态双线性池化的运动模式识别方法、装置及介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410071684.8 |
| 申请日 | 2024/1/18 |
| 公告号 | CN117592003A |
| 公开日 | 2024/2/23 |
| IPC主分类号 | G06F18/25 |
| 权利人 | 之江实验室 |
| 发明人 | 俞菲; 黄琛; 万志国; 王海涛 |
| 地址 | 浙江省杭州市余杭区中泰街道科创大道之江实验室 |
摘要文本
本发明公开一种基于多模态双线性池化的运动模式识别方法、装置及介质，包括：获取用户的多模态传感器数据；从所述多模态传感器数据中提取多个单模态传感器数据特征；将每个所述单模态传感器数据特征进行融合操作并拼接为一个多模态特征序列；将多模态特征序列输入LSTM，得到多模态时序特征序列，然后，通过软注意力机制，将多模态特征序列与多模态时序特征序列进行加权以及信息融合；将融合了时序信息的多模态特征输入多层感知机，预测运动模式。本发明提出多模态双线性注意力池化对多模态感知数据进行特征融合，通过利用模态间的信息增强、互补性来指导多运动模式识别；解决了多模态特征学习中面向复杂场景理解的信息间可信互补和增强问题。。来自：马 克 团 队
专利主权项内容
1.一种基于多模态双线性池化的运动模式识别方法，其特征在于，包括：获取多模态传感器数据；从所述多模态传感器数据中提取多个单模态传感器数据特征；将每个所述单模态传感器数据特征进行融合操作并拼接为一个多模态特征序列；将多模态特征序列输入LSTM，得到多模态时序特征序列，然后，通过软注意力机制，将多模态特征序列与多模态时序特征序列进行加权以及信息融合；将融合了时序信息的多模态特征输入多层感知机，预测运动模式。 马 克 团 队