← 返回列表
多模态信息的处理方法、装置、设备及存储介质
摘要文本
本申请公开了一种多模态信息的处理方法、装置、设备及存储介质，属于涉及计算机技术领域。该方法包括：获取待处理的车辆的行驶环境的多模态信息；将多模态信息输入预设的多模态生成式语言模型，以根据预设的多模态生成式语言模型的特征提取网络和多模态信息，获得多模态特征信息；根据预设的多模态生成式语言模型的语言生成网络和多模态特征信息，获得多模态信息对应的语言特征信息和自然语言描述信息；根据预设的多模态生成式语言模型的目标规划网络、多模态特征信息和语言特征信息，获得多模态信息对应的目标规划信息；根据目标规划信息和自然语言描述信息，获得多模态生成式语言模型的输出结果，以确定车辆的行驶控制信息。
申请人信息
- 申请人:九识(苏州)智能科技有限公司
- 申请人地址:215124 江苏省苏州市中国(江苏)自由贸易试验区苏州片区苏州工业园区金鸡湖大道88号人工智能产业园G4-202-010单元
- 发明人: 九识(苏州)智能科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 多模态信息的处理方法、装置、设备及存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311464992.9 |
| 申请日 | 2023/11/6 |
| 公告号 | CN117407694A |
| 公开日 | 2024/1/16 |
| IPC主分类号 | G06F18/213 |
| 权利人 | 九识(苏州)智能科技有限公司 |
| 发明人 | 董博; 林金表; 许舒恒; 张金凤 |
| 地址 | 江苏省苏州市中国(江苏)自由贸易试验区苏州片区苏州工业园区金鸡湖大道88号人工智能产业园G4-202-010单元 |
专利主权项内容
1.一种多模态信息的处理方法，其特征在于，所述方法包括：获取待处理的车辆的行驶环境的多模态信息；将所述多模态信息输入预设的多模态生成式语言模型，以根据所述预设的多模态生成式语言模型的特征提取网络和所述多模态信息，获得多模态特征信息；根据所述预设的多模态生成式语言模型的语言生成网络和所述多模态特征信息，获得所述多模态信息对应的语言特征信息和自然语言描述信息；根据所述预设的多模态生成式语言模型的目标规划网络、所述多模态特征信息和所述语言特征信息，获得所述多模态信息对应的目标规划信息；根据所述目标规划信息和所述自然语言描述信息，获得所述预设的多模态生成式语言模型的输出结果，以根据所述输出结果，确定所述车辆的行驶控制信息。