← 返回列表
一种基于精细纹理特征的零样本图像检索方法、装置及计算机可读存储介质
摘要文本
本申请适用于图像处理领域,提供了一种基于精细纹理特征的零样本图像检索方法,首先获取小样本图像集,所述小样本图像集中包含一幅或多幅彩色图像,以及所述一幅或多幅彩色图像对应的草图图像,然后基于所述小样本图像集,训练草图精细纹理特征一致性生成模型,该草图精细纹理特征一致性生成模型,包括循环一致性生成模型、和线注意力模型,最后输入待检索的草图图像至所述草图精细纹理特征一致性生成模型,得到与所述待检索的草图图像匹配的彩色图像。由于在一致性生成模型中引入了注意力模型,来提取图像的精细纹理特征,并融入循环一致性模型中进行对抗训练,从而基于精细纹理特征对图像检索任务进行优化,提高了具有精细纹理特征的零样本图像检索的准确率。 关注微信公众号
申请人信息
- 申请人:上海交通大学
- 申请人地址:200240 上海市闵行区东川路800号
- 发明人: 上海交通大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于精细纹理特征的零样本图像检索方法、装置及计算机可读存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410009295.2 |
| 申请日 | 2024/1/3 |
| 公告号 | CN117746075A |
| 公开日 | 2024/3/22 |
| IPC主分类号 | G06V10/75 |
| 权利人 | 上海交通大学 |
| 发明人 | 钱久超; 王延博 |
| 地址 | 上海市闵行区东川路800号 |
专利主权项内容
1.一种基于精细纹理特征的零样本图像检索方法,其特征在于,所述方法包括:S1、获取小样本图像集,所述小样本图像集中包含一幅或多幅彩色图像,以及所述一幅或多幅彩色图像对应的草图图像,所述彩色图像为通过相机拍摄得到的图像,所述草图图像为所述彩色图像的手绘草图;S2、基于所述小样本图像集,训练草图精细纹理特征一致性生成模型;所述草图精细纹理特征一致性生成模型,包括循环一致性生成模型、和线注意力模型;其中,所述循环一致性生成模型用于对所述彩色图像和草图图像分别进行语义映射,所述线注意力模型用于提取所述彩色图像和草图图像的精细纹理特征,并将所述精细纹理特征作为辅助特征,优化所述循环一致性生成模型;S3、输入待检索的草图图像至所述草图精细纹理特征一致性生成模型,得到与所述待检索的草图图像匹配的彩色图像,其中,所述待检索的草图图像的类别与所述小样本图像集中所述草图图像或所述彩色图像的类别不同。 (来自 )