基于差分卷积特征的数据质量分析方法及系统

专利主权项内容

1.一种基于差分卷积特征的数据质量分析方法，其特征在于，包括步骤：获取初始数据，所述初始数据包括时间序列数据以及图像数据；对所述初始数据进行预处理，以获得输入数据；利用卷积层将所述输入数据进行滑动窗口计算，并提取局部特征值；利用APReLu激活函数进行非线性激活；将局部特征值与所述输入数据进行跳跃连接；将局部特征值与所述输入数据进行差分计算特征层之间的差异，并将卷积层输出的局部特征图以及特征层之间的差异分别送入两个输出通道；构建并优化数据质量分析模型；获取一测试数据，并输入至所述数据质量分析模型，以获得对应的数据质量，其中，在所述利用卷积层将所述输入数据进行滑动窗口计算，并提取局部特征值的步骤之中，包括步骤：定义一组卷积核函数，其中每个卷积核函数是一个窗口，并能够在差分序列上进行滑动计算；将卷积核函数与差分序列进行逐点乘积，并将乘积结果进行求和处理；将卷积后的结构作为新的特征值，并表示差分序列中的局部特征和模式；通过滑动窗口的方式将卷积核函数在差分序列上进行滑动，计算每个窗口的卷积操作结果，并获得一系列局部特征图，所述局部特征图包括水平方向以及垂直方向上的边缘特征图；
；其中，表示针对第/>个样本卷积之后的输出值，/>表示输入序列的第/>个元素，/>表示卷积核函数的第F个权重，F表示卷积核函数的大小，c表示偏置项，其中，将局部特征值与输入数据进行差分计算特征层之间的差异，并将卷积层输出的局部特征图以及特征层之间的差异分别送入两个输出通道的步骤之后，还包括步骤：利用分类层FC对经过卷积操作后得到的特征进行质量评价，其中，所述利用分类层FC对经过卷积操作后得到的特征进行质量评价的步骤之中，包括步骤：将输出通道输出的特征通过全局池化操作将特征转化为特征向量；将转换后的特征输入到分类器中，用于将样本特征映射到各个质量分析类别上；通过学习样本特征与类别之间的关系，分类器计算每个类别的概率估计；根据每个类别的概率估计，对数据质量样本的分类结果进行评估和判断，其中，在所述通过学习样本特征与类别之间的关系，分类器计算每个类别的概率估计的步骤之中，将样本特征的集合转化为n维度的概率向量，得到其概率函数为：
；其中，表示数据样本集合中的第i个样本，/>代表第i个样本的数据质量分类标签，/>表示模型的学习参数，n表示维度，且/>，/>的作用是把概率归一化并使得概率总和为1，G表示当前函数的定义域范围，R表示实数的集合，其中，在所述构建并优化数据质量分析模型的步骤之中，所述数据质量分析模型的训练步骤包括：利用交叉熵损失函数训练数据质量分析模型，交叉熵损失函数为：
；其中，表示当/>，为1，否则为0；L(/>)表示损失函数，/>表示模型的学习参数，m表示样本数量，n表示维度，即实际的数据质量分类标签的类别，其中/>表示数据样本集合中的第i个样本，/>表示第i个样本的数据质量分类标签，j为实际的数据质量分类标签；通过反向传播算法计算损失函数对参数的梯度，并使用梯度下降优化算法来更新参数/>；通过不断迭代训练样本和调整参数，使损失函数减小。