用于植物科普教育的基于知识图谱的零样本植物识别方法

专利主权项内容

1.用于植物科普教育的基于知识图谱的零样本植物识别方法，其特征在于，包括以下步骤：(1)训练数据集获取，训练数据包括可见类别信息和不可见类别信息，可见类别指自然界中可获得大量图像的植物类别，不可见类别指难以获得真实图像的濒危植物类别，其中，可见类别信息包含该类植物真实图像的视觉特征以及相关的语义信息，不可见类别信息仅包含该类植物类别相关的语义信息，类别相关的语义信息指该类别物种的描述性信息；(2)模型训练：获取训练数据后，对于可见类别的语义信息，利用知识图谱建模不同样本的语义信息之间的关联关系，并施加结构保留约束，促使学习语义空间到潜在空间的映射时保持这种结构信息，同时基于可见类别的视觉特征，利用自编码机实现视觉特征空间与潜在空间之间的循环映射，并对视觉特征到潜在空间的映射结果施加判别性约束；基于以上分析得到模型，并对视觉特征空间到潜在空间的映射和语义空间到潜在空间的映射进行交替优化，得到视觉特征空间和语义空间分别到潜在空间的映射；定义每个样本作为知识图谱的一个顶点，并根据语义信息构建顶点之间的连接；给定语义信息，计算每个样本对的语义之间的欧式距离如下：其中，和/>分别表示第/>和第/>个可见类的语义，/>表示向量模长的平方；利用柯西核函数，计算基于柯西核函数的语义之间的距离如下：其中，为控制带宽的超参数，引入阈值/>过滤掉过小的值，在/>的样本对之间构建边，边的权重设置为/>，所建立的知识图谱的邻接矩阵/>通过下式计算：其中，为邻接矩阵/>的第/>行且第/>列的元素；用矩阵表示语义空间和潜在空间之间的映射，其中/>为语义维度，/>为潜在空间的维度，引入所述结构保留约束，约束映射后特征的关联关系与映射前保持一致，以保留数据的结构信息，所述结构保留约束即目标函数为：其中，指矩阵/>的转置，/>和/>分别表示第/>和第个可见类的语义，/>为邻接矩阵/>的第/>行且第/>列的元素；将所述目标函数化为如下形式：其中，表示矩阵的迹，/>为图拉普拉斯矩阵，计算为：其中，是一个对角矩阵，对角元素为/>，/>为邻接矩阵；在此基础上，利用自编码机实现视觉特征空间与潜在空间之间的循环映射，自编码机的形式如下：其中，表示矩阵/>-范数的平方，/>为可见类别的视觉特征， />为视觉特征维度，/>为可见类别样本数，/>为映射到潜在空间的可见类别的语义，/>表示语义空间到潜在空间的映射，/>为可见类别的语义，/>为视觉特征到潜在空间的映射，/>为潜在空间的维度，/>表示矩阵/>的转置，公式中的约束表示可见类别样本的视觉特征/>通过矩阵/>映射到潜在空间，并与映射到潜在空间的可见类别语义/>严格对应，公式的内容表示将映射结果/>通过反映射/>回到视觉特征空间，与初始的视觉特征输入/>相对齐；(3)零样本植物识别：将待识别的濒危植物图像称作测试图像，基于测试图像得到测试图像的视觉特征，将该视觉特征用步骤(2)中模型训练得到的视觉特征空间到潜在空间的映射，映射到潜在空间，将不可见类的语义信息用步骤(2)中模型训练得到的语义空间到潜在空间的映射，映射到潜在空间，将测试图像的视觉特征的映射结果与不可见类别语义的映射结果相比较，得到对该图像的识别结果。