数据检索方法、装置、计算机设备和存储介质
申请人信息
- 申请人:腾讯科技(深圳)有限公司
- 申请人地址:518057 广东省深圳市南山区高新区科技中一路腾讯大厦35层
- 发明人: 腾讯科技(深圳)有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 数据检索方法、装置、计算机设备和存储介质 |
| 专利类型 | 发明授权 |
| 申请号 | CN202410041699.X |
| 申请日 | 2024/1/11 |
| 公告号 | CN117556067B |
| 公开日 | 2024/3/29 |
| IPC主分类号 | G06F16/483 |
| 权利人 | 腾讯科技(深圳)有限公司 |
| 发明人 | 汪翔 |
| 地址 | 广东省深圳市南山区高新区科技中一路腾讯大厦35层 |
摘要文本
本申请涉及一种数据检索方法、装置、计算机设备、存储介质和计算机程序产品。涉及人工智能领域,方法包括:针对多模态图文数据中图像数据,通过视觉相似度模型查找相似度满足相似条件的相似图像,得到粗召目标图像;针对其中的文本数据,通过文本相似度模型查找相似度满足相似条件的相似文本,得到粗召候选样本;通过属性分类模型进行属性分类处理,得到属性类别;而后将与多模态图文数据的属性类别一致的粗召候选样本作为数据检索结果。本申请公开了基于分级匹配的多模态相似检索方式,首先利用视觉相似度和文本相似度来快速召回相关样本,然后利用属性分类模型进一步筛选,从而得到符合实际应用场景的检索结果,有效提高检索准确性。
专利主权项内容
1.一种数据检索方法,其特征在于,所述方法包括:获取历史图像数据;通过不同的图像变换方式对所述历史图像数据进行图像变换处理,得到图像变换子图;基于对同一张历史图像数据,进行不同的图像变换方式所得到的图像变换子图构建图像正样本对数据;基于对不同历史图像数据,进行随机的图像变换方式所得到的图像变换子图构建图像负样本对数据;基于所述图像正样本对数据和所述图像负样本对数据,以孪生网络方式对初始视觉相似度模型进行预训练处理,得到预训练视觉相似度模型;基于多模态图文数据的来源场景,对所述预训练视觉相似度模型进行微调训练,得到视觉相似度模型;获取历史文本数据;通过不同的文本变换方式对所述历史文本数据进行文本变换处理,得到变换子文本;基于对同一历史文本数据,进行不同的文本变换方式所得到的变换子文本构建文本正样本对数据;基于对不同历史文本数据,进行随机的文本变换方式所得到的变换子文本构建文本负样本对数据;基于所述文本正样本对数据和所述文本负样本对数据,以孪生网络方式对初始文本相似度模型进行训练处理,得到文本相似度模型;针对多模态图文数据中图像数据,通过所述视觉相似度模型查找相似度满足相似条件的相似图像,得到粗召目标图像;基于所述粗召目标图像,针对多模态图文数据中文本数据,通过所述文本相似度模型查找相似度满足相似条件的相似文本,得到粗召候选样本;通过属性分类模型分别对所述多模态图文数据、和所述粗召候选样本进行属性分类处理,得到所述多模态图文数据的属性类别以及每个粗召候选样本各自的属性类别,所述属性分类模型以历史数据中标注属性的图文数据为训练样本构建;将与所述多模态图文数据的属性类别一致的粗召候选样本作为数据检索结果。 关注公众号马克数据网