基于多模态数据的海岛光伏运维故障原因分析方法及系统

专利主权项内容

1.一种基于多模态数据的海岛光伏运维故障原因分析方法，其特征在于包括以下内容：1)获取光伏电站正常和具有缺陷的图像运维数据，图像运维数据包括光伏电池板、逆变器、电网设备的照片或监控摄像头捕捉的图像；2)获取光伏电站文本运维数据，文本运维数据包括设备的技术规格、维护记录、故障报告、运维日志；3)校验运维数据，以确保获取的图像和文本数据的质量和准确性；对于图像数据，校验其分辨率和清晰度；对于文本数据，校验其信息的完整性；4)将图像和文本数据进行配对，以建立图像和文本之间的关联；5)将图像数据输入基于残差网络的单模态编码器中，将文本数据输入基于word2vec的单模态编码器中，两单模态编码器对应编码图像和文本数据形成特征向量；6)通过交叉注意力机制融合光伏电站不同数据模态的特征向量，得到加权后的图像和文本的特征表示矩阵；7)将加权后的图像和文本的特征表示矩阵进行拼接，形成融合后的特征；8)故障分类计算，使用训练后的基于卷积神经网络的故障分类网络对融合后的特征进行计算，经非线性变换后，进行归一化，得到表示各个类别故障概率的输出；9)基于故障分类网络对故障原因进行可视化解释，得到热力图；10)根据分类结果和相关特征，生成解释性的文本描述故障原因。