← 返回列表
基于多模态的数字人一体机及其多模态感知识别方法
申请人信息
- 申请人:深圳市鸿普森科技股份有限公司
- 申请人地址:518000 广东省深圳市龙华区民治街道北站社区民治股份商业中心C座2901(29层02-10号)
- 发明人: 深圳市鸿普森科技股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于多模态的数字人一体机及其多模态感知识别方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410130411.6 |
| 申请日 | 2024/1/31 |
| 公告号 | CN117668763A |
| 公开日 | 2024/3/8 |
| IPC主分类号 | G06F18/25 |
| 权利人 | 深圳市鸿普森科技股份有限公司 |
| 发明人 | 韩友仁; 袁菲; 黄炳辉; 吴良庆 |
| 地址 | 广东省深圳市龙华区民治街道北站社区民治股份商业中心C座2901(29层02-10号) |
摘要文本
本发明提供了基于多模态的数字人一体机及其多模态感知识别方法，包括：体系构建模块，用于基于数字人一体机的业务属性构建多模态感知识别体系，并对多模态感知识别体系中节点信息的交互参数进行适配；数据采集及处理模块，用于感知用户在预设时长内的多模态数据，并基于适配后的多模态感知识别体系对多模态数据进行并行特征识别；响应模块，用于对并行特征识别结果进行事理逻辑分析，并基于分析结果将并行特征识别结果进行特征融合，且基于数字人一体机根据特征融合结果与用户进行交互。提高了特征融合的准确性，在保障数字人一体机对用户进行综合响应的效果的同时提高了响应效率，大大提升了用户的交互体验感。
专利主权项内容
1.一种基于多模态的数字人一体机，其特征在于，包括：体系构建模块，用于基于数字人一体机的业务属性构建多模态感知识别体系，并对多模态感知识别体系中节点信息的交互参数进行适配；数据采集及处理模块，用于感知用户在预设时长内的多模态数据，并基于适配后的多模态感知识别体系对多模态数据进行并行特征识别；响应模块，用于对并行特征识别结果进行事理逻辑分析，并基于分析结果将并行特征识别结果进行特征融合，且基于数字人一体机根据特征融合结果与用户进行交互。