基于知识图谱的植物病虫害识别方法、系统、设备及存储介质

专利主权项内容

1.一种基于知识图谱的植物病虫害识别方法，其特征在于，所述方法包括：S1、采集作为样本的植物病虫害图像，并对所述植物病虫害图像进行数据增强得到预处理后的图像；S2、将预处理后的图像中的部分作为训练集输入到预构建的植物病虫害识别模型进行训练，得到训练后的植物病虫害识别模型，然后将预处理后的图像中的其余部分作为测试集输入到训练后的植物病虫害识别模型进行测试；S3、基于训练后且经过测试的植物病虫害识别模型进行植物病虫害识别；其中，所述预构建的植物病虫害识别模型包括第一Transformer编码器、第二Transformer编码器、融合器、解码器和分类器；所述步骤S2中对预构建的植物病虫害识别模型进行训练的过程具体包括：S21、对预处理后的图像进行图像数据增强，并输入第一Transformer编码器；S22、将第一Transformer编码器对应输出的图像集合进行对比学习，更新Transformer编码器的参数，同时得到植物病虫害可见光图像特征；S23、将预处理后的图像转换为红外图像，构建红外图像数据集，对红外图像数据集进行特征提取，得到红外图像特征，对所述得到红外图像特征进行数据增强后输入第二Transformer编码器进行编码；S24、将植物病虫害可见光图像特征、红外图像特征输入融合器中进行加权跨模态融合得到多模态特征；其中，先将植物病虫害可见光图像特征X、红外图像特征Y进行全局平均池化以获得两组特征向量，分别为植物病虫害可见光图像特征向量表示为X，X＝[x, x, x……x]，和红外图像特征表示为Y，Y＝[y, y, y……y]，将X和Y进行加权和平均，得到植物病虫害可见光图像特征、红外图像特征的权重向量X和Y，将权重向量X和Y与植物病虫害可见光图像特征X、红外图像特征Y分别相乘，得到加权特征和/>最后将加权特征相加得到多模态特征X，表示如下：lr123n123miiiilrmS25、将多模态特征和类别语义特征输入融合器中进行相加融合组成最终的融合特征，将最终的融合特征F输入解码器，得到解码后的植物病虫害特征，表示如下F＝X+Dmt其中，D表示类别语义特征；其中，所述类别语义特征为将植物病虫害类别名称作为类别语义特征输入基于知识图谱的深度神经网络进行训练得到；tS26、将解码后的植物病虫害特征输入到分类器中，从而输出得到所述植物病虫害的类别；其中，所述植物病虫害识别模型训练的总损失函数L为：L＝δL+εL+θL+αL+βLttvwvc其中，L为基于第一Transformer编码器生成的模型的损失函数；L为基于第二Transformer编码器生成的模型的损失函数；L为基于Transformer编码器的输出的损失函数；L为变分对齐损失函数；L为变分交叉损失函数；α、β为是变分对齐损失和变分交叉损失的权重值；δ、ε和θ为超参数，用于调整五个损失的数量级差异；twtvvc调整所述总损失函数L的值最小，所述植物病虫害识别模型的效果最优；所述L为基于Transformer编码器的输出的损失函数表示如下：tv其中D(·)表示Transformer编码器网络，x表示输入的图像，y表示标签，f(x)表示增强图像，n表示训练集的图片数量；L为基于第一Transformer编码器的输出的损失函数，表示如下：t其中，R(·)表示两个特征之间的距离，w表示基于可见光的浅层特征和深层特征对应的权重系数，L，L，L分别表示植物病虫害识类别；i1nmL为基于第二Transformer编码器的输出的损失函数，表示如下：w其中，w表示基于红外线的浅层特征和深层特征对应的权重系数。r