← 返回列表
一种基于多模态信息的舌象识别方法、装置及电子设备
申请人信息
- 申请人:之江实验室
- 申请人地址:311121 浙江省杭州市余杭区中泰街道科创大道之江实验室
- 发明人: 之江实验室
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于多模态信息的舌象识别方法、装置及电子设备 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410076457.4 |
| 申请日 | 2024/1/18 |
| 公告号 | CN117611581A |
| 公开日 | 2024/2/27 |
| IPC主分类号 | G06T7/00 |
| 权利人 | 之江实验室 |
| 发明人 | 张建峰; 李劲松 |
| 地址 | 浙江省杭州市余杭区中泰街道科创大道之江实验室 |
摘要文本
本说明书公开了一种基于多模态信息的舌象识别方法、装置及电子设备。所述方法包括：获取用户的舌体图像和病症信息，病症信息包括病症主诉、症状以及体征；将舌体图像以及病症信息输入舌象识别模型，确定舌体图像对应的图像特征以及病症信息对应的文本特征；根据预设的舌诊知识图谱，确定病症实体与舌象实体之间的对应关系，并获取基于该对应关系所确定图谱特征；将图像特征、文本特征以及图谱特征进行融合，得到目标舌象特征，以根据目标舌象特征进行舌象识别。本方案通过对多模态信息进行整合，有效提升了舌象识别结果的准确性以及可靠性。
专利主权项内容
1.一种基于多模态信息的舌象识别方法，其特征在于，包括：接收舌象识别请求；根据所述舌象识别请求，获取用户的舌体图像和病症信息，所述病症信息包括所述用户的病症主诉、症状信息以及体征信息；将所述舌体图像以及所述病症信息输入预先训练的舌象识别模型，以通过所述舌象识别模型，提取所述病症信息中包含的病症实体，并确定所述舌体图像对应的图像特征以及所述病症信息对应的文本特征；根据预设的舌诊知识图谱，确定所述病症实体与舌象实体之间的对应关系，并获取基于所述对应关系所确定图谱特征；将所述图像特征、所述文本特征以及所述图谱特征进行融合，得到目标舌象特征，以根据所述目标舌象特征进行舌象识别。