一种基于边界互信息的跨模态哈希检索方法

专利主权项内容

1.一种基于边界互信息的跨模态哈希检索方法，其特征在于，所述方法包括以下步骤：步骤1：构建特征学习网络和哈希学习网络，特征学习网络和哈希学习网络均由多层全连接层组成的生成对抗网络构成，过程如下：步骤1.1：构建特征学习网络，特征学习网络由两个生成网络和一个判别网络构成；步骤1.2：构建哈希学习网络，哈希学习网络由两个生成网络和一个判别网络构成，步骤2：构建哈希函数与量化损失，过程如下：步骤2.1：对哈希学习网络的最后输出作符号运算；步骤2.2：哈希函数的定义是特征空间到汉明空间的映射函数。由哈希函数的定义构建哈希函数；步骤2.3：构建量化损失。量化损失由离散损失组成，并添加正交约束以减小哈希码的信息冗余；步骤3：相似性保持损失构建，由排序余弦三元损失、边界互信息损失组成；步骤4：目标函数优化，运用交替优化的方法对网络参数和哈希码进行更新，过程如下：步骤4.1：固定哈希码，运用反向传播算法对网络参数优化；步骤4.2：固定网络参数，运用交替方向乘子法对哈希码进行优化；步骤5：网络训练和哈希函数学习，过程如下：步骤5.1：将数据集划分为查询集Q与待查集P，并取待查集P的一部分作为训练集T；步骤5.2：使用VGG网络提取图像的深度特征，使用词袋模型得到文本的表征向量；步骤5.3：将训练集的图像深度特征，文本表征向量和标签信息输入；步骤5.4：随机初始化网络参数；步骤5.5：按步骤4从步骤4.1到4.2依次迭代优化直至收敛；步骤5.6：根据步骤2.2构建的哈希函数，将最优的网络参数带入，得到哈希函数；步骤6：图文检索与精度测试。