非参数自适应的情绪识别模型、方法、系统和存储介质

专利主权项内容

1.一种非参数自适应的情绪识别模型的构建方法，其特征在于，首先构建由顺序连接的特征提取部分、全连接层和激活层构成的基础模型，特征提取部分用于提取表情图像的特征，特征经过全连接层和激活层处理后生成表情图像对应各情绪类别的概率分布；获取标注有情绪类别的表情图像作为学习样本；然后令基础模型对设定数量的学习样本进行机器学习，进行模型参数的预训练；再针对预训练后的基础模型结合以下步骤S3-S10，进行非参数自适应训练，直至获取收敛后的基础模型作为情绪识别模型；S3、抽取N个学习样本构成训练集，将训练集中N个学习样本划分为I个批次，每个批次包含B个样本；令基础模型标注训练集中各个学习样本的标签类别预测值，记作{P(i)|1≤i≤I}，P(i)∈R；P(i)为第i个批次的学习样本的模型预测概率分布，C为情绪类别数量；B×CS4、令基础模型的特征提取部分抽取第i个批次的学习样本中表情图像的特征，获取特征矩阵F(i)={F(i, 1), F(i, 2), …, F(i, b), …, F(i, B)}；F(i, b)表示当前基础模型的特征提取部分针对本批次第b个学习样本提取的特征，1≤b≤B；i的初始值为1；S5、将特征矩阵F(i)存储到设定的特征库中，特征库初始值为空集；令特征库中所有特征记作特征矩阵FQ={F(q)|1≤q≤Q}；F(q)表示特征矩阵FQ中第q个样本特征，F(q)∈{F(i, b)|1≤i≤I, 1≤b≤B}，Q=i×B；计算特征矩阵F(i)和特征矩阵FQ的相似度矩阵S(i)，S(i)中第b行第q列元素S[F(i, b), F(q)]表示特征F(i, b)与特征F(q)的相似度值；S6、针对相似度矩阵S(i)，获取各学习样本的最大的K个相似度值对应的特征F(q)作为目标特征序列；令相似度矩阵S(i)中第b个学习样本对应的最大的K个相似度值的集合记作SK(i, b)，相似度矩阵S(i)中第b个学习样本的目标特征序列记作FK(i, b)；令目标特征序列集合{FK(i, b); 1≤b≤B}作为基础模型的全连接层的输入，基础模型输出该B个学习样本的目标特征序列对应的预测概率矩阵P(i, K)∈R，C为情绪类别数量；B×K×CS7、判断是否满足i≥I；否，则令i更新为i+1，然后返回步骤S4；是，则对基础模型的相似度权重矩阵W(i, K)∈R进行更新，并计算学习样本在不同标签类别上的得分矩阵G(i)，G(i)∈R；B×KB×CW(i, K)=[e/τ]/[∑e/τ]{SK(i, b)|1≤i≤I, 1≤b≤B}K{SK(i, b)|1≤i≤I, 1≤b≤B}G(i)=∑[W(i, K)·P(i, K)]K其中，τ为在(0, 1)上取值的常数；S8、计算各学习样本在不同标签类别上的修正概率分布，即{L(i)|1≤i≤I}；L(i)=arg max(e/∑e)G(i)C G(i)L(i)∈RB×CS9、结合修正概率分布{L(i)|1≤i≤I}和模型预测概率分布{P(i)|1≤i≤I}计算基础模型的损失函数；S10、判断基础模型是否收敛；否，则清空特征库，并返回步骤S3；是，则令该基础模型作为情绪类别模型。