一种基于音视频文本预测阿尔兹海默病的处理方法和装置

专利主权项内容

1.一种基于音视频文本预测阿尔兹海默病的处理方法，其特征在于，所述方法包括：预先准备多组带有三类情感类型视频的视频物料组；并准备多组带有三类情感类型图像的图像物料组；并准备多组带有三类情感类型文章的文章物料组；并由准备的所有所述视频物料组、所述图像物料组和所述文章物料组组成对应的第一物料库；根据所述第一物料库对多个任意类型的被试者进行音视频数据采集并基于采集数据构建出对应的自监督图像数据集、自监督语音数据集和自监督文本数据集；并根据所述第一物料库对多个指定类型的被试者进行音视频数据采集并基于采集数据构建出对应的模型数据集；所述指定类型的被试者包括患有阿尔兹海默病的被试者、患有轻度认知障碍的被试者和正常被试者；构建多模态阿尔兹海默病预测模型记为对应的第一预测模型；所述第一预测模型包括第一图像预训练模型、第一语音预训练模型、第一文本预训练模型、第一特征融合模块和第一分类模型；所述第一图像预训练模型、所述第一语音预训练模型和所述第一文本预训练模型都各自预先基于公开数据集完成了初始模型训练；基于所述自监督图像数据集对所述第一图像预训练模型进行自适应训练；并基于所述自监督语音数据集对所述第一语音预训练模型进行自适应训练；并基于所述自监督文本数据集对所述第一文本预训练模型进行自适应训练；并在对第一图像预训练模型、所述第一语音预训练模型和所述第一文本预训练模型的模型参数进行固化的前提下，基于所述模型数据集对所述第一预测模型进行模型训练；模型训练结束后，对任意被试者的音视频数据进行采集和预处理得到对应的第一测试图像序列、第一测试语音序列和第一测试文本序列；并将所述第一测试图像序列、所述第一测试语音序列和所述第一测试文本序列输入所述第一预测模型进行预测处理得到对应的第一预测向量；并将所述第一预测向量中概率值最大的第一预测概率对应的第一预测类型作为预测结果输出；所述第一预测向量由三个所述第一预测概率组成；各个所述第一预测概率对应一个所述第一预测类型；所述第一预测类型包括阿尔兹海默病类型、轻度认知障碍类型和正常类型。。搜索马 克 数 据 网