一种面向标签噪声的深度半监督跨模态哈希检索方法
摘要文本
本发明公开了一种面向标签噪声的深度半监督跨模态哈希检索方法。考虑了跨模态哈希学习的目标函数、基于标签的一致性保持损失函数和基于标签的相似度保持损失函数，构建了跨模态哈希学习的总目标函数。求解总目标函数得到第一模态和第二模态的投影矩阵。基于投影矩阵分别生成第一模态和第二模态的查询样本和检索样本的哈希编码；基于两个模态的查询样本和检索样本的哈希编码计算由一个模态的查询样本到另一个模态的检索样本集中各个样本的汉明距离；根据汉明距离实现对查询样本的检索。本发明能够使多个模态协同地从有标签和无标签样本中挖掘模态内的鉴别信息和模态间的关联信息，缓解了标签噪声的负面影响，提高了跨模态哈希检索的准确性。
申请人信息
- 申请人:九江学院
- 申请人地址:332020 江西省九江市前进东路551号
- 发明人: 九江学院
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种面向标签噪声的深度半监督跨模态哈希检索方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311723525.3 |
| 申请日 | 2023/12/14 |
| 公告号 | CN117633256A |
| 公开日 | 2024/3/1 |
| IPC主分类号 | G06F16/383 |
| 权利人 | 九江学院 |
| 发明人 | 董西伟; 王广兴; 孙丽; 彭虎; 殷超; 刘涛; 徐利亚; 史姣丽; 郭景娟; 余玛俐 |
| 地址 | 江西省九江市前进东路551号 |
专利主权项内容
1.一种面向标签噪声的深度半监督跨模态哈希检索方法，其特征在于，包括：构建跨模态哈希学习的目标函数其中，||·||为矩阵的Frobenius范数，β为惩罚参数，I为单位矩阵，θ为用于确定第i个模态在学习中的重要程度的权重，γ为第一平衡因子，f(X)＝WX为每个模态的哈希函数，i＝1, …, M，W为第i个模态的投影矩阵，X为第i个模态的特征矩阵，/>为实E′×K矩阵空间，E′为矩阵V的列数，α为构建H时第i个模态的权重，矩阵V为矩阵A经分解得到的下三角矩阵，矩阵A为第i个模态的相似度矩阵，(·)为矩阵的转置，tr(·)为矩阵的迹，/>为第i个模态的拉普拉斯矩阵，D为对角矩阵；Fii1iiiTiiiiiiiiiiTi构建基于标签的一致性保持损失函数其中，L为第i个模态有标签样本的标签矩阵，γ为第二平衡因子；i2构建基于标签的相似度保持损失函数其中，K为哈希编码的长度，h为第p个样本对的哈希编码，h为第q个样本对的哈希编码，S为矩阵的元素，S为每个模态的标签相似度矩阵，/>为实n×n矩阵空间；pqpqi构建跨模态哈希学习的总目标函数并求解所述跨模态哈希学习的总目标函数，学习得到第一模态的投影矩阵W和第二模态的投影矩阵W；12基于所述第一模态的投影矩阵W和所述第二模态的投影矩阵W为所述第一模态和所述第二模态的查询样本和检索样本分别生成所述第一模态和所述第二模态的查询样本和检索样本的哈希编码；12基于所述第一模态和所述第二模态的查询样本和检索样本的哈希编码计算由一个模态的查询样本到另一个模态的检索样本集中各个样本的汉明距离；根据所述汉明距离实现对查询样本的检索。 来自：马 克 团 队