一种基于时空信息融合的激光增材制造缺陷监控方法

专利主权项内容

1.一种基于时空信息融合的激光增材制造缺陷监控方法，其特征在于，包括如下步骤：(1)建立基于时空信息融合神经网络模型，基于时空信息融合神经网络模型包括依次连接的信息提取模块、特征融合模块和决策分类层；所述信息提取模块用于提取激光增材过程中的熔池图像中的空间信息和时序信息，它包括多支路并行信息提取网络，信息提取网络包括ResNet-18网络、Self-AttentionConvLSTM网络和CBAM注意力机制模块，ResNet-18网络和Self-Attention ConvLSTM网络后与CBAM注意力机制模块连接；每个支路特征图融合后连接有SE-Block通道注意力机制模块；所述ResNet-18网络用于提取熔池图像的空间信息，它包括依次连接的卷积层、最大池化层、残差模块和全局平均池化层，残差模块包括依次连接的四个残差块；所述Self-Attention ConvLSTM网络用于提取熔池图像中的时序信息，它包括自相关模块、交互层、sigmoid激活函数和tanh层，交互层包括4个，分别为遗忘门、输入门、单元状态、输出门，遗忘门读取上一个时刻的熔池图像信息和当前时刻输入熔池图像信息，做一个非线性映射后输出一个向量；上个时刻保存的熔池图像特征与该向量相乘，忽略不重要的特征信息；输入门通过sigmoid激活函数产生权重来决定更新当前时刻经过tanh层产生的熔池图像特征信息；将单元状态更新为当前时刻熔池信息，当前时刻熔池信息经过一个tanh层创建一个候选向量，并与输出门相乘得到特征向量，特征向量和上个记忆单元输出的熔池特征同时输入到自注意力模块中，自注意力模块输出当前时刻熔池状态信息；所述CBAM注意力机制模块用于强调每一支路的时序信息特征图和空间信息特征图的空间和通道重要程度，它包括依次连接的通道注意力机制子模块和空间注意力机制子模块，通道注意力机制子模块与SE-Block通道注意力机制模块结构相同，所述空间注意力机制子模块包括两个池化层、一个卷积层和sigmoid激活函数，两个池化层分别为最大池化层和平均池化层，最大池化层和平均池化层均与卷积层连接，卷积层与sigmoid激活函数连接；通道注意力机制的输出作为空间注意力机制的输入，经过两个池化层，将特征图的通道维度降维1，接着拼接两个特征图后降维为H×W×1，通过sigmoid激活函数后得到宽度和高度的权重，最后将权重作用于特征图得到输出特征图/>；所述SE-Block通道注意力机制模块用于突出每个分支特征图的重要程度，它包括一个全局平均池化层、两个全连接层、一个ReLU激活函数和sigmoid激活函数，全局平均池化层、全连接层、ReLU激活函数、全连接层和sigmoid激活函数依次连接，输入特征图通过全局平均池化层，将特征图的宽度和高度变成1×1，全局平均池化层后的向量通过全连接层、ReLU激活函数、sigmoid激活函数后，得到每个通道的权重，最后将权重作用于特征图得到输出特征图/>；所述特征融合模块用于将提取到的特征在通道维度进行叠加输出特征图，输出的特征图输入到决策分类层，决策分类层包括4个全连接层和1个softmax分类层，其中，前两个全连接层的神经元个数分别为2080和960个，并在每层全连接层后面连接一个参数为0.5的dropout层和1个Relu非线性激活层；后两个的全连接层的神经元个数为960和2个，对应两种沉积孔隙状态，然后连接softmax分类层，完成沉积融合状态的分类；(2)激光增材制造过程中沉积件熔池图像的获取及处理；采用MCS640红外热成像仪实时采集激光增材制造过程中的熔池图像，根据扫描速度和打印长度，选择0.4s为一个时间窗口，每个窗口里面均匀的选择几张熔池图像构成每一层的数据样本，完成三十层的数据样本构建，改变时窗位置构建样品数据集；将熔池图像裁剪成大小为224×224，并将其转化为JPG格式，然后进行归一化和标准化处理得到输入图片数据集；对应时间窗口的沉积件孔隙缺陷采用x射线CT检测获取，根据孔隙尺寸大小分为合格和不合格两种类型的标签，将标签与对应的熔池图像绑定；将构建好的数据集和标签按照7 : 3的比例进行划分为训练集和测试集；(3)训练并测试基于时空信息融合神经网络模型；采用步骤(2)中所述训练集对步骤(1)建立的基于时空信息融合神经网络模型进行训练；并采用测试集测试训练后的模型，直到测试的预测精度达到设定的阈值时，此时的基于时空信息融合神经网络模型为最终基于时空信息融合神经网络模型。。微信公众号马克 数据网