← 返回列表
多模特征信息的获取方法及系统、电子设备及存储介质
摘要文本
本发明涉及一种多模特征信息的获取方法及系统、电子设备及存储介质。多模特征信息的获取方法为通过卷积神经网络和激活函数对至少两个第一模态特征信息进行全局校准，得到至少两个第二模态特征信息，至少两个第一模态特征信息为通过多层感知机对至少两个第三模态特征信息进行自校准得到，至少两个第三模态特征信息对应至少两个模态图像；通过注意力机制对至少两个第一模态特征信息进行局部校准，得到至少两个第四模态特征信息；对至少两个第二模态特征信息、至少两个第三模态特征信息以及至少两个第四模态特征信息进行处理得到至少两个第五模态特征信息；对至少两个第五模态特征信息的位置特征信息和纹理特征信息进行融合得到多模特征信息。
申请人信息
- 申请人:中国科学院自动化研究所
- 申请人地址:100190 北京市海淀区中关村东路95号
- 发明人: 中国科学院自动化研究所
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 多模特征信息的获取方法及系统、电子设备及存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410052542.7 |
| 申请日 | 2024/1/12 |
| 公告号 | CN117710694A |
| 公开日 | 2024/3/15 |
| IPC主分类号 | G06V10/44 |
| 权利人 | 中国科学院自动化研究所 |
| 发明人 | 杨旭; 周浩 |
| 地址 | 北京市海淀区中关村东路95号 |
专利主权项内容
1.一种多模特征信息的获取方法，其特征在于，包括：通过卷积神经网络和激活函数对至少两个第一模态特征信息进行全局校准，得到至少两个第二模态特征信息，其中，至少两个所述第一模态特征信息为通过多层感知机对至少两个第三模态特征信息进行自校准得到，至少两个所述第三模态特征信息对应至少两个模态图像；通过注意力机制对至少两个所述第一模态特征信息进行局部校准，得到至少两个第四模态特征信息；对至少两个所述第二模态特征信息、至少两个所述第三模态特征信息以及至少两个所述第四模态特征信息进行处理得到至少两个第五模态特征信息；对至少两个所述第五模态特征信息的位置特征信息和纹理特征信息进行融合，得到多模特征信息。