一种面部动作单元检测方法、电子设备及存储介质
申请人信息
- 申请人:大湾区大学(筹)
- 申请人地址:523808 广东省东莞市松山湖园区学府路3号A5栋19层
- 发明人: 大湾区大学(筹)
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种面部动作单元检测方法、电子设备及存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311767620.3 |
| 申请日 | 2023/12/20 |
| 公告号 | CN117746503A |
| 公开日 | 2024/3/22 |
| IPC主分类号 | G06V40/20 |
| 权利人 | 大湾区大学(筹) |
| 发明人 | 余梓彤; 苑凯深; 郝超; 叶启朗; 刘鑫 |
| 地址 | 广东省东莞市松山湖园区学府路3号A5栋19层 |
摘要文本
本申请涉及面部表情分析和情感计算技术领域，公开了一种面部动作单元检测方法、电子设备及存储介质，其方法包括：通过将位置编码后的图像特征输入至连续的多个Transformer块中进行特征变换，其中，特征变换包括：基于多个包括多感受野算子及上下文感知算子的混合知识专家构成混合知识专家组，混合知识专家组通过学习所述面部动作单元的个性化特征得到全面的专家知识，将全面的专家知识输入多个所述Transformer块中，得到了更为鲁棒且有效的混合知识特征，通过提取最后一个混合知识专家组和最后一个Transformer块输出的特征中的类令牌，并将类令牌输入线性层，对面部动作单元进行辅助预测及最终预测，进一步提高了面部动作单元检测的鲁棒性和有效性。
专利主权项内容
1.一种面部动作单元检测方法，其特征在于，所述方法包括：获取原始人脸图像，对所述原始人脸图像进行预处理，将预处理之后的人脸图像分割为多个图像块，将多个所述图像块通过线性映射层得到第一图像特征；基于所述第一图像特征引入类令牌，并对所述第一图像特征及所述类令牌进行位置编码得到第二图像特征；将所述第二图像特征输入至连续的多个Transformer块中进行第一特征变换，得到第三图像特征，其中，所述第一特征变换包括：基于多个混合知识专家构成混合知识专家组，所述混合知识专家组通过学习所述面部动作单元的个性化特征得到全面的专家知识，将所述全面的专家知识输入多个所述Transformer块中，其中，所述混合知识专家包括多感受野算子及上下文感知算子；提取最后一个所述混合知识专家组输出的所述第三图像特征中的所述类令牌，并将所述类令牌输入线性层，对所述面部动作单元进行辅助预测；提取最后一个所述Transformer块输出的所述第三图像特征中的所述类令牌，并将所述类令牌输入线性层，对所述面部动作单元进行预测。。更多数据：