多尺度特征融合的复杂环境下违禁物品检测方法和装置

专利主权项内容

1.基于多尺度特征融合的复杂环境下违禁物品检测方法，其特征在于，所述方法构建了一个针对复杂环境下X光违禁物品图像检测网络，所述图像检测网络引入多尺度注意力机制增强重叠物体的局部特征表示能力，同时融合浅层和深层特征，提高网络对小尺度违禁物品的分类和定位能力，采用自适应融合策略和通道注意力机制减少直接融合产生的语义冲突，防止目标信息丢失，所述检测方法具体包括：步骤1：准备X光违禁物品检测所需数据集，即Pidray数据集；步骤2：对步骤1所获取数据集进行预处理，并按照约定比例划分成训练集和测试集；步骤3：对所述训练集和所述测试集进行数据增强处理，同时构建并初始化基于改进YOLOV7的复杂环境下违禁物品检测网络，所述检测网络由多尺度注意力模块主干、自适应融合特征金字塔网络和检测头部组成，多尺度注意力模块主干以YOLOV7的特征提取主干为基础，设置多尺度特征提取模块增强局部特征的表示能力，所述自适应融合特征金字塔网络包括自适应上下文信息融合模块与特征融合模块，检测头部用于对前面两个网络提取的特征进行解码，输出预测的检测图像；步骤4：将步骤3处理后的训练集输入构建完成的所述检测网络中，对网络进行训练，训练过程具体包括：步骤41：将数据增强后的训练集输入多尺度注意力模块主干中提取特征信息，依次通过下采样和高效聚合网络层得到不同尺度的特征图，具体包括第一特征图C1、第二特征图C2、第三特征图C3、第四特征图C4、第五特征图C5，并在第一特征图C1、第三特征图C3、第五特征图C5之后分别插入注意力模块，最后一个注意力模块输出最终的注意力特征图F，将注意力特征图F传入多尺度特征提取模块中，得到多尺度特征图F；ininout步骤42：将步骤41中不同尺度的特征图输入自适应融合特征金字塔网络中进行特征融合，具体的，将第二特征图C2、第三特征图C3和第四特征图C4输入第一自适应上下文信息融合模块得到第一自适应融合特征图W，将第三特征图C3、第四特征图C4、注意力特征图F输入第二自适应上下文信息融合模块，得到第二自适应融合特征图W；outinout2步骤43：将步骤41输出的所述多尺度特征图F与注意力特征图F通过特征求和方法融合得到第一融合特征图F1，将第一融合特征图F1上采样2倍与所述第二自适应融合特征图W进行拼接融合，并通过高效聚合网络层得到第二融合特征图F2，将第二融合特征图F2上采样2倍与所述第一自适应融合特征图W进行拼接融合，并通过高效聚合网络层得到第一输出特征图F3；outinout2out步骤44：将所述第一输出特征图F3下采样2倍得到特征图L1后，与第一融合特征图F1、第二融合特征图F2一起输入第一特征融合模块中得到特征图L2，并通过高效聚合网络层得到第二输出特征图F4；将所述第二输出特征图F4下采样2倍得到特征图L3，并与第一融合特征图F1、第二融合特征图F2一起输入第二特征融合模块中得到特征图L4，并通过高效聚合网络层得到第三输出特征图F5；步骤45：将第一输出特征图F3、第二输出特征图F4和第三输出特征图F5分别传入所述检测头部，所述检测头部通过3×3卷积调整输出特征图的通道数，得到不同尺度下的输出结果P1、输出结果P2和输出结果P3；步骤5：通过非极大值抑制对三个输出结果P1、输出结果P2和输出结果P3进行融合，得到预测违禁物品位置和类别信息，并计算预测违禁物品位置和类别信息和真实违禁物品位置和类别信息的损失值；步骤6：步骤4和步骤5依次经过10轮训练后，将测试集传入训练完成的所述图像检测网络进行测试，判断所述图像检测网络当前测试的所有类标签在10个阈值下的平均精确率指标是否最高，若是，则保存当前模型参数，接着跳转至步骤4进行下一轮训练，若否，则直接跳转至步骤4进行下一轮训练，直至完成300轮训练；步骤7：选取测试过程中表现最好的网络，然后将测试集送入该网络，计算精确率、找回率，所有类标签在10个阈值下的平均精确率和所有类标签的平均精确率指标，并保存最终的检测效果图。