← 返回列表
文档检索方法、人机交互方法、电子设备及存储介质
摘要文本
本申请公开了一种文档检索方法、人机交互方法、电子设备及存储介质，方法包括：提取文档的多模态表征信息，所述多模态表征信息包括视觉信息、文档布局信息以及文字信息；通过已训练的大语言模型，根据所述多模态表征信息获得提问问题的回复信息。通过将多种模态表征输入大语言模型，大语言模型在使用文字信息做问答预测过程中，可以根据文档的视觉信息和文档布局信息获得文档结构上的信息，能够更好的理解文档，从而提升大语言模型的问答效果。
申请人信息
- 申请人:阿里云计算有限公司
- 申请人地址:310030 浙江省杭州市西湖区三墩镇灯彩街1008号云谷园区1-2-A06室
- 发明人: 阿里云计算有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 文档检索方法、人机交互方法、电子设备及存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410047118.3 |
| 申请日 | 2024/1/12 |
| 公告号 | CN117573839A |
| 公开日 | 2024/2/20 |
| IPC主分类号 | G06F16/332 |
| 权利人 | 阿里云计算有限公司 |
| 发明人 | 余海洋; 李永彬; 黄非 |
| 地址 | 浙江省杭州市西湖区转塘科技经济区块12号 |
专利主权项内容
1.一种文档检索方法，其特征在于，所述方法包括：提取文档的多模态表征信息，其中，所述多模态表征信息包括视觉信息、文档布局信息以及文字信息；通过已训练的大语言模型，根据所述多模态表征信息获得提问问题的回复信息，所述提问问题为用户针对所述文档输入所述大语言模型的问题信息。