一种基于模型协作的数据加权学习方法

专利主权项内容

1.一种基于模型协作的数据加权学习方法，其特征在于，包括以下步骤：步骤S1、给定通用图像数据集，目标图像数据集/>，验证集/>，给定由决策边界和学习能力均不同的多个辅助模型组成的辅助模型集合/>，其中表示第/>个辅助模型，/>为大于0的自然数，给定目标模型/>；其中所述辅助模型集合/>在通用图像数据集/>上进行预训练；步骤S2、随机选择所述目标图像数据集中的图像样本/>，辅助模型集合/>中的个辅助模型都对图像样本/>生成预测结果，得到预测结果集合，其中/>表示第/>个辅助模型对图像样本/>生成的预测结果，接着通过图像样本/>生成的预测结果集合/>与图像样本/>对应的真实标签计算出图像样本/>的/>个辅助权重，得到辅助权重集合/>，其中/>表示第/>个辅助模型生成的辅助权重，然后对计算出的/>个辅助权重进行平均得到图像样本的最终辅助权重；最后计算所述目标图像数据集中其他图像样本的最终辅助权重，并根据最终辅助权重的大小对所述目标图像数据集/>中的所有图像样本进行排序，若某个图像样本的最终辅助权重小于设置的阈值/>，则将此图像样本从目标图像数据集/>丢弃，得到清洗后的目标图像数据集/>；步骤S3、随机选择目标图像数据集中的图像样本，将该图像样本定义为/>，通过目标模型/>生成图像样本/>的预测结果/>，通过图像样本/>生成的预测结果/>、图像样本/>对应的真实标签计算出图像样本/>的目标权重以及样本损失，然后利用所述目标模型/>计算目标图像数据集/>中其他所有图像样本的目标权重以及样本损失；步骤S4、将目标图像数据集中的每个图像样本得到的最终辅助权重和目标权重进行融合得到样本权重；步骤S5、将目标图像数据集中的每个图像样本得到的样本损失与样本权重进行重新加权得到加权后的样本损失，最后利用梯度的计算来更新目标模型/>的参数引导目标模型/>的训练；步骤S6、当目标图像数据集训练完成，且完成所有训练轮次时，目标模型/>训练完毕，其中每一个训练轮次均包括步骤S3-S5的训练过程；步骤S7、将验证集输入到训练好的目标模型/>中，输出对待分割图像实例分割后的结果；步骤S2中获取最终辅助权重的实现过程为：步骤S2.1、随机选取目标图像数据集中的图像样本/>，基于图像样本/>的预测结果集合/>得到图像样本/>预测的目标边界框集合、预测的目标掩码集合和预测的目标边缘集合，其中/>表示图像样本/>第/>个辅助模型预测的目标边界框，/>表示图像样本/>第/>个辅助模型预测的目标掩码，/>表示图像样本/>第/>个辅助模型预测的目标边缘；计算/>、/>和的置信度分数，并计算/>、/>和/>的置信度分数的平均置信度分数/>；接着计算图像样本/>由其他辅助模型分别得到的平均置信度分数，全部的平均置信度分数构成集合/>；将平均置信度分数集合/>与评价指标分数集合相结合作为图像样本/>的难易度分数集合/>，评价指标分数集合表示为，其中/>表示图像样本/>的第/>个评价指标分数，/>表示图像样本/>的第/>个难易度分数：
；
；
；其中表示置信度分数；/>表示图像样本/>的目标边界框真值，/>表示图像样本/>的目标掩码真值，/>表示图像样本/>的目标边缘真值；用来衡量图像样本/>第/>个辅助模型预测的目标边界框和目标边界框真值之间的重叠程度，/>是用来衡量图像样本/>第/>个辅助模型预测的目标掩码和目标掩码真值之间的重叠程度的平均指标，是用来衡量图像样本/>第/>个辅助模型预测的目标边缘和目标边缘真值之间的匹配程度；步骤S2.2、基于预测结果集合与图像样本/>在坐标为像素处对应的真实标签/>计算图像样本/>的标签质量分数集合，其中/>表示图像样本的第/>个标签质量分数：
；
；其中表示图像样本/>的宽度，/>表示图像样本/>的高度，/>、/>为参数，/>为计数符号，/>表示在坐标为/>的像素处对应的真实标签/>类别的置信度，/>为设定的阈值，计算图像样本/>其他像素处真实标签类别的置信度，统计第/>个辅助模型对于图像样本/>中所有像素处的预测结果中置信度大于设定的阈值的像素数量，数量记为/>；步骤S2.3、基于无参考质量评价指标UNIQUE得到图像样本的图像质量分数集合，其中/>表示图像样本/>的第/>个图像质量分数，则有：
；步骤S2.4、将图像样本的难易度分数集合、标签质量分数集合以及图像质量分数集合进行融合得到图像样本/>的辅助权重集合 />：；其中，/>，/>是超参数，用来平衡难易度分数集合/>、标签质量分数集合/>以及图像质量分数集合/>对的贡献，对/>个辅助权重进行平均得到图像样本/>的最终辅助权重，然后计算目标图像数据集/>中其他图像样本的最终辅助权重，设置阈值t，若最终辅助权重小于该阈值t，表明该最终辅助权重所对应的图像样本的质量低，将此图像样本从目标图像数据集/>丢弃，得到清洗后的目标图像数据集/>；步骤S3的实现过程为：步骤S3.1、计算目标权重：对于所述目标图像数据集中随机选取的一个图像样本，基于目标模型/>的预测结果/>得到目标模型/>预测的目标边界框的置信度分数、预测的目标掩码的置信度分数和预测的目标边缘的置信度分数，并计算预测的目标边界框的置信度分数、预测的目标掩码的置信度分数和预测的目标边缘的置信度分数的平均置信度分数，将平均置信度分数与评价指标分数相结合作为图像样本/>的难易度分数，然后基于目标模型/>的预测结果/>与图像样本/>对应的真实标签计算图像样本/>的标签质量分数，接着基于无参考质量评价指标UNIQUE得到图像样本/>的图像质量分数，将图像样本/>的难易度分数、标签质量分数以及图像质量分数进行融合得到图像样本/>的目标权重，进行融合的操作为：/>；其中为图像样本/>的目标权重，/>为图像样本/>的难易度分数，/>为图像样本/>的标签质量分数，/>为图像质量分数，/>，/>，/>是超参数，用来平衡难易度分数、标签质量分数集合/>和图像质量分数/>对目标权重/>的贡献；步骤S3.2、计算图像样本的样本损失/>：
；
；
；
；其中，表示目标框的分类损失，使用二分类交叉熵损失，用来衡量预测目标框的类别与真实目标框类别之间的差异，/>表示目标框类别的真值，/>表示目标框预测为目标类别的概率值；/>表示目标框的回归损失，使用平均绝对误差损失，用衡量预测目标框和真实目标框之间的差异，/>表示目标框位置坐标的真值，/>表示目标框位置坐标的预测值，/>表示目标框的数量，/>为参数；/>表示目标掩码的分割损失，使用像素级的交叉熵损失，/>表示目标掩码的真值，/>表示目标掩码的预测值，其中表示图像样本/>的宽度，/>表示图像样本/>的高度，/>，/>为参数，/>表示类别数，为参数。c