基于改进型MLSTM-FCN的音视频特点的生物特征提取与分析方法

专利主权项内容

1.基于改进型MLSTM-FCN的音视频特点的生物特征提取与分析方法，其特征在于，包括如下步骤：步骤S1，针对数据样本的视频进行音视频分离得到音频数据和视频数据，并将音频和视频数据转化为对应的文件格式，采集音视频分离前后的结构信息，结构信息包括音频互相关指数和视频互相关指数，对音频互相关指数和视频互相关指数综合处理得到分离效能系数，对分离效能进一步分析，得到分离等级信号，分离等级信号包括高度、中度和低度分离质量信号；步骤S2，在确认为高度、中度分离质量信号的情况下，使用SwinTransformer-Base模型对视频进行帧率分割，将每一帧的图像预测出41维的AU特征向量，形成连续的AU序列；步骤S3，在确认为高度、中度分离质量信号的情况下，提取音频中MCFF特征，输出结果为m个时间以及每个时间步上的39个特征值的特征矩阵；步骤S4，在步骤S3和S2的基础上，获取处理过后的音频和视频数据，对音频数据和视频数据进行预处理，确保输入模型的音频和视频数据具有相同的长度和维度；步骤S5，将预处理过后的数据传入到改进后MLSTM-FCN模型，分别得到8维中间向量结果，将中间结果传入FC中加权得到对应的生物特征质量概率模型，将模型结果通过映射并结合分离效能系数得到概率值，对概率值进一步分析生成提示信号，提示信号包括高度、低度相似信号；音频互相关指数的获取逻辑为：步骤S1-001，获取音视频未分离前后的原始、分离后音频数据集合，以及原始、分离后视频数据集合；步骤S1-002，通过原始、分离后音频数据集合以及原始、分离后视频数据集合获得音频互相关指数和视频互相关指数；步骤S1-003，对于音频数据，音频互相关指数的计算公式为：；其中：
表示音频互相关指数；
分别表示原始音频数据、分离后音频数据的平均振幅；
分别表示原始音频数据、分离后音频数据的振幅标准差；
表示原始音频和分离后音频之间的振幅协方差；
是用于稳定计算的常数，以避免分母为零，且/>均为小正数；视频互相关指数的获取逻辑为：步骤S1-011，对于视频数据，首先将原始、分离后视频分别间隔抽帧进行分解，得到每一帧的图像；步骤S1-012，对于每一对对应的帧，计算每一对对应帧的结构相关系数，计算公式为：；其中：
表示第/>对对应帧的结构相关系数；
分别表示第/>对对应原始帧、分离后帧的亮度均值；
分别表示第/>对对应原始帧、分离后帧的亮度标准差；
表示第/>对对应原始帧和分离后帧之间的亮度协方差；
分别是用于稳定计算的常数，且均大于0；
分别表示为原始帧、分离后帧；
表示亮度相似性；
表示对比度相似性；
表示结构相似性；步骤S1-013，将每一对对应帧的结构相关系数和区分阈值进行比较，若每一对对应帧的结构相关系数大于等于区分阈值，则合格分离帧数量累加1，计算合格分离帧数量与所有对应帧总数的比值得到视频互相关指数；在获取分离效能系数后，将分离效能系数和分类第一、第二阈值分别进行比较；若分离效能系数大于等于分类第二阈值，生成高度分离质量信号；若分离效能系数大于等于分类第一阈值，且小于分类第二阈值，生成中度分离质量信号；若分离效能系数小于分类第一阈值，生成低度分离质量信号；应用Softmax函数来将分数向量映射到概率分布，以获得每个生物特征质量类别的概率值，表示为：；式中，表示每个类别的生物特征质量的估计概率，即概率值，/>表示分离效能系数，/>分别为分离第一阈值、分离第二阈值，/>为/>的权重因子，且/>大于0。。来源：百度搜索马克数据网