← 返回列表
基于大语言模型的幻觉检测方法、系统以及存储介质
摘要文本
本发明涉及大语言模型幻觉检测领域,特别涉及一种基于大语言模型的幻觉检测方法、系统以及存储介质。本发明通过获取大语言模型、待检测内容以及与所述待检测内容相关的相关文档集;构建与待检测内容中的数字和实体单位对应的多道填空题和多道判断题组成的题库集;根据相关文档集对题库集中的所有填空题进行填空,并对所有填空题的填空结果和所有判断题一一进行判断;若存在一道填空题的填空结果或一道判断题在相关文档集的所有相关文档下均被判断为非正确,则确定待检测内容中存在幻觉。实现了对数字幻觉、实体幻觉等细粒度幻觉问题的检测。
申请人信息
- 申请人:北京澜舟科技有限公司
- 申请人地址:100000 北京市海淀区北四环西路52号14层1603房间
- 发明人: 北京澜舟科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于大语言模型的幻觉检测方法、系统以及存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410152780.5 |
| 申请日 | 2024/2/3 |
| 公告号 | CN117688164A |
| 公开日 | 2024/3/12 |
| IPC主分类号 | G06F16/332 |
| 权利人 | 北京澜舟科技有限公司 |
| 发明人 | 马永亮; 胥卜凡; 周明 |
| 地址 | 北京市海淀区北四环西路52号14层1603房间 |
专利主权项内容
1.一种基于大语言模型的幻觉检测方法,其特征在于:包括以下步骤:获取大语言模型、待检测内容以及与所述待检测内容相关的相关文档集;构建与所述待检测内容中的数字和实体单位对应的多道填空题和多道判断题组成的题库集;根据所述相关文档集对所述题库集中的所有填空题进行填空,并对所有填空题的填空结果和所有判断题一一进行判断;若存在一道填空题的填空结果或一道判断题在所述相关文档集的所有相关文档下均被判断为非正确,则确定所述待检测内容中存在幻觉。