一种基于计算机视觉的面部视频判别中医气血系统

专利主权项内容

1.一种基于计算机视觉的面部视频判别中医气血系统，其特征在于，该系统包括：视频采集模块，采集面部视频；视频预处理模块，将所述面部视频切割，划分为视频帧；特征提取模块，基于Transformer构建气血特征提取模型，从所述视频帧中提取中医气血相关特征；所述气血特征提取模型包括浅层粗特征提取单元、中间层patch embedding单元以及深层注意力机制单元；所述浅层粗特征提取单元从所述视频帧中提取粗略时空特征；所述中间层patch embedding单元将所述粗略时空特征分成非重叠的tube token并且编码；所述深层注意力机制单元包括时空多头自注意力和时空前馈神经网络，所述时空多头自注意力使用3D卷积神经网络构建所述tube token的向量、投影，并对向量、进行归一化，将向量、、展平并送入指定个数的注意力头中，再对每个注意力头的特征输出进行特征拼接、线性投影及残差连接后得到注意力特征；将所述注意力特征喂入所述时空前馈神经网络，所述时空前馈神经网络输出所述中医气血相关特征；Q、KVQKQKV气血辨识模块，获取气血分类结果以及模型训练；获取所述气血分类结果的步骤包括：依次对所述中医气血相关特征进行时间上采样、空间平均、卷积和线性投影，获取气血分类结果；所述模型训练的步骤包括：使用交叉熵损失函数计算气血辨证损失，使用均方差损失函数分别计算心率损失和血压损失，最后计算气血辨证损失、心率损失和血压损失的加权求和，获取总损失，使用所述总损失进行模型训练，确定气血特征提取模型参数；模型升级模块，用于所述气血特征提取模型参数的修正，具体步骤包括：若所述气血分类结果与专家实际辨识结果不一致，则将视频帧数据重新送入模型，并使用OHEM训练方式进行迭代训练，直至修正后的气血特征提取模型输出的气血分类结果与专家实际辨识结果达到一致。