基于头部可穿戴设备感知的情感识别方法、介质及设备

专利主权项内容

1.一种基于头部可穿戴设备感知的情感识别方法，其特征在于：头部可穿戴设备包括：设备本体和设置在设备本体上的多模态数据采集装置；多模态数据采集装置包括用于分别采集佩戴者四个视角的图片和视频的四个摄像模块一；所述四个视角是指：左眼、右眼、左下脸部、右下脸部；基于头部可穿戴设备感知的情感识别方法，包括佩戴者情感识别方法；所述佩戴者情感识别方法包括如下步骤：步骤X1、采集佩戴者的多模态情感数据；佩戴者的多模态情感数据包括通过四个摄像模块一获取的图片数据一和视频数据一；图片数据一和视频数据一均包括四个视角数据；步骤X2、对佩戴者的多模态情感数据进行情感特征提取：对图片数据一和视频数据一，分别采用局部融合情感识别网络进行处理；其中，图片数据一分别以四个视角数据作为局部融合情感识别网络的四个视角输入；视频数据一分别对四个视角数据提取起始帧和峰值帧，作为局部融合情感识别网络的四个视角输入；所述四个视角输入在局部融合情感识别网络中的处理方式是：左眼输入和右眼输入进行深度卷积以提取局部视角特征；左下脸部输入和右下脸部输入分别通过嵌入层将提取到的动作单元嵌入，然后与面部行为编码FACS一起输入到空域图卷积中以提取局部视角特征；将四个视角输入提取得到的局部视角特征同时输入到多层感知机中进行空间映射，计算空间注意力和通道注意力后进行特征图融合，得到最终的情感特征；步骤X3、将步骤X2得到的情感特征进行融合，通过分类得到复合情感识别结果。 搜索马 克 数 据 网