一种基于人工智能的数字交互方法、系统和介质

专利主权项内容

1.一种基于人工智能的数字交互方法，其特征在于，包括以下步骤：获取应用场景信息并提取应用场景特征数据，获取背景环境信息并提取背景环境特征数据；获取自然人特征信息并提取自然人特征识别数据，根据自然人特征识别数据结合所述应用场景特征数据以及所述背景环境特征数据生成数字人模型；将所述自然人特征识别数据以及所述应用场景特征数据输入预设情感识别模型进行处理，获得情感优化因子，根据情感优化因子对所述数字人模型进行优化，获得第一优化数字人模型；根据所述自然人特征识别数据对所述第一优化数字人模型进行唇形同步，获得第二优化数字人模型；获取用户基本信息并提取用户基本数据，获取用户交互信息并提取用户交互数据，包括：交互需求数据、用户互动数据；根据所述用户基本数据以及所述交互需求数据对所述第二优化数字人模型进行个性化调整，获得个性化数字人模型；根据所述用户互动数据利用预设人工智能算法进行识别，生成动作指令参数，所述个性化数字人模型根据动作指令参数执行相应的动作；所述获取自然人特征信息并提取自然人特征识别数据，根据自然人特征识别数据结合所述应用场景特征数据以及所述背景环境特征数据生成数字人模型，包括：获取自然人特征信息并提取自然人特征识别数据，包括：面部识别数据、姿态动作识别数据、语音识别数据和唇形识别数据；根据所述面部识别数据、姿态动作识别数据、语音识别数据结合所述应用场景特征数据以及所述背景环境特征数据通过预设PAAS化平台工具生成数字人模型；所述将所述自然人特征识别数据以及所述应用场景特征数据输入预设情感识别模型进行处理，获得情感优化因子，根据情感优化因子对所述数字人模型进行优化，获得第一优化数字人模型，包括：根据所述语音识别数据提取语速数据、音调数据、语调数据和音频能量数据；将所述面部识别数据结合所述姿态动作识别数据以及所述语速数据、音调数据、语调数据和音频能量数据输入预设情感识别模型进行处理，获得情感特征参数；根据所述情感特征参数对所述数字人模型进行优化，获得第一优化数字人模型；所述根据所述自然人特征识别数据对所述第一优化数字人模型进行唇形同步，获得第二优化数字人模型，包括：根据所述语音识别数据以及所述唇形识别数据分别特征识别，获得音频特征数据和唇形特征数据；将所述音频特征数据和所述唇形特征数据在时间轴上对齐，并将所述音频特征数据以及所述唇形特征数据输入预设唇形优化生成模型进行处理，获得唇形优化参数；根据所述唇形优化参数对所述第一优化数字人模型进行优化，获得第二优化数字人模型；所述获取用户基本信息并提取用户基本数据，获取用户交互信息并提取用户交互数据，包括：交互需求数据、用户互动数据，包括：获取用户基本信息并提取用户基本数据，包括：年龄数据、职业数据、健康状况数据、性格数据、语言风格数据、方言数据；获取用户交互信息并提取用户交互数据，包括：交互需求数据、用户互动数据；所述用户互动数据包括：面部表情数据、肢体动作数据、手势数据和语音数据；所述根据所述用户基本数据以及所述交互需求数据对所述第二优化数字人模型进行个性化调整，获得个性化数字人模型，包括：将所述年龄数据、职业数据、健康状况数据、性格数据、语言风格数据以及所述交互需求数据输入预设风格调整模型进行处理，获得风格调整参数；将所述方言数据输入预设唇形优化模型进行处理，获得唇形优化参数；根据所述风格调整参数以及所述唇形优化参数对所述第二优化数字人模型进行个性化调整，获得个性化数字人模型。 来自：马 克 团 队