一种基于多模态的肌肤作业控制方法

专利主权项内容

1.基于多模态的肌肤作业控制方法，其特征在于，包括步骤：对激光波长数据设置标签，激光波长数据中的每个激光波长对应至少一个波长功能；统计带有标签的激光波长数据及采集的历史面部图像、历史语音信息生成肌肤作业数据集；根据预设的神经网络模型，提取历史语音信息的语音特征；构建深度学习模型，根据深度学习模型将历史面部图像划分为多个区域，深度学习模型中设置有编码层及全连接层，编码层提取历史面部图像的图像特征并将图像特征与语音特征融合生成融合特征，融合特征输入全连接层，全连接层输出每个区域的激光波长数据及标签；根据肌肤作业数据集训练所述深度学习模型获得最优模型，训练过程中的损失函数为：
，其中，/>表示损失函数，/>表示/>区域的标签值，/>表示/>区域的预测值，/>表示/>区域的预测值，/>表示区域的总数，/>表示预设的权重系数，/>表示/>区域的融合特征，/>表示/>区域的融合特征，/>表示预设的常数；响应于实时面部图像及实时语音信息被获取，根据最优模型控制每个区域的激光波长；根据肌肤作业数据集训练所述深度学习模型获得最优模型，包括步骤：在深度学习模型中输入划分区域后的历史热力图、历史彩色图及语音信息，输出每个区域的激光波长数据及标签；计算损失函数，根据损失函数使用梯度下降算法更新模型参数，完成一次迭代训练；进行多次迭代训练，根据损失函数的梯度反向传播更新深度学习模型的参数；响应于迭代训练的次数大于预设的训练次数阈值或损失函数值小于预设的损失函数阈值时，完成训练，生成最优模型；历史语音信息为采集的历史数据中使用声音传感器采集的用户在进行肌肤作业时用户语音信息及肌肤作业的设备语音信息；历史语音信息包括用户语音信息及设备语音信息，用户语音信息及设备语音信息通过神经网络模型，提取语音特征，以去除与肌肤作业无关的语音信息，语音特征为文本的形式存储。 来自：