一种基于单目RGB图像的多任务脸部表情识别方法
申请人信息
- 申请人:广州紫为云科技有限公司
- 申请人地址:510000 广东省广州市黄埔区香雪八路98号F栋20层2001-1房(仅限办公)
- 发明人: 广州紫为云科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于单目RGB图像的多任务脸部表情识别方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311690769.6 |
| 申请日 | 2023/12/8 |
| 公告号 | CN117542102A |
| 公开日 | 2024/2/9 |
| IPC主分类号 | G06V40/16 |
| 权利人 | 广州紫为云科技有限公司 |
| 发明人 | 李观喜; 覃镇波; 张磊; 张威 |
| 地址 | 广东省广州市黄埔区香雪八路98号F栋20层2001-1房(仅限办公) |
摘要文本
本发明提出了一种基于单目RGB图像的多任务脸部表情识别方法，包括：获取待识别的图像；将图像输入以FasterOne网络作为轻量级骨干网络的轻量级卷积神经网络进行卷积计算，获得输出的特征图；对特征图进行多任务参数回归计算获取参数；利用参数构建多任务的损失函数计算人眼瞳孔的关键点坐标，并根据人眼瞳孔的关键点坐标计算眼部移动的表情参数；根据表情基参数、人头姿态参数和眼部移动的表情参数计算表情参数获取表情识别内容。本发明通过一种三维可形变模型参数回归以及瞳孔关键点回归多任务的网络模型结构，实现了网络参数共享，减少了模型的参数量，可实现实时推理。
专利主权项内容
1.一种基于单目RGB图像的多任务脸部表情识别方法，其特征在于，所述方法包括：S1、获取待识别的图像；S2、将图像输入以FasterOne网络作为轻量级骨干网络的轻量级卷积神经网络进行训练，获得输出值；其中，在所述S2中，将特征图作为输入，先通过FasterOne网络和平均池化层，再分别通过5个FC层，输出5个参数；其中，所述FC层包括FC1、FC2、FC3、FC4和FC5；所述FC1输出脸部三维可形变的身份参数，表示为α；所述FC2输出脸部三维可形变的表情参数，表示为β；所述FC3输出脸部三维可形变的纹理参数，表示为γ；所述FC4输出人头的姿态参数，表示为pose，所述FC5输出瞳孔关键点坐标参数；其中，所述输出值包括脸部三维可形变的身份参数、脸部三维可形变的表情参数、脸部三维可形变的纹理参数、人头的姿态参数和瞳孔关键点坐标参数；S3、根据瞳孔关键点坐标参数计算眼部移动表情系数；S4、根据脸部三维可形变的身份参数、脸部三维可形变的表情参数、脸部三维可形变的纹理参数、人头的姿态参数和眼部移动表情系数计算表情参数获取表情识别内容。。搜索马 克 数 据 网