一种基于大语言模型的多模态信息检索方法及系统

摘要文本

本发明涉及自然语言处理技术领域，具体为一种基于大语言模型的多模态信息检索方法及系统，包括以下步骤：引入大语言模型的能力分析用户的检索意图输出统一的检索关键信息；通过多模态embedding模型处理多模态信息生成统一的高维向量存入向量数据库；通过结构化检索和向量检索相结合的方式实现实现文本‑多模态数据的高效精确检索；有益效果为：本发明提出的基于大语言模型的多模态信息检索方法及系统，使用大模型充分挖掘分析用户的检索意图，使用embedding模型充分利用跨模态的语义关联信息，针对向量检索模糊匹配的特性进行优化，创新提出结构化搜索与向量检索相结合的方法，极大提高了检索的精度。