无人电力巡检AI轻量大模型方法及系统

专利主权项内容

微信公众号马克数据网 1.一种无人电力巡检AI轻量大模型方法，其特征在于，包括以下步骤：步骤1，采集获取电力巡检影像，并对其进行预处理和数据增广处理，构建输电线路数据集；步骤2，获取大模型所需的提示，所述提示包括目标关键点提示、目标边界框提示以及文本提示；步骤3，构建无人电力巡检AI轻量大模型，并采用解耦蒸馏的方式，训练该轻量大模型：所述AI轻量大模型包括基于ViT的轻量图像编码器、解码器和关键词解码器；对步骤1中获取的数据通过图像编码器获得图像深度学习特征，不同类型的提示通过关键词解码器进行解码获得关键词特征，关键词特征与图像特征共同作为解码器的输入，得到分割结果；所述AI轻量大模型的训练，首先，电力数据集对应的影像特征编码由预训练过的ViT图像编码器给出；然后，以此图像编码作为监督，训练基于ViT的轻量图像编码器，进行知识蒸馏，而编码器及解码器采用SAM中的冻结参数，训练过程中采用MSE损失；步骤4，利用训练好的AI轻量大模型获得电力巡检目标的实时分割结果。