← 返回列表
通过逐步迁移领域训练专业医疗大模型的方法
摘要文本
本发明涉及通过逐步迁移领域训练专业医疗大模型的方法，属于数据处理技术领域。本发明包括步骤：将预训练模型迁移至通用医疗领域，包括：获取通用医疗数据、训练预训练大模型得到通用医疗领域大模型；训练时，使用通用医学指令数据对大模型进行有监督微调；将通用医疗领域大模型迁移至麻醉专业领域，包括：获取专业医疗数据、训练通用医疗领域大模型，获得麻醉专业大模型；训练时，在通用医疗大模型的基础上继续进行有监督微调，对于专业的医疗指令数据使用全微调的方式去训练。本发明训练了一个专业的麻醉大语言大模型，提高了医疗领域预训练模型的性能。
申请人信息
- 申请人:云南联合视觉科技有限公司
- 申请人地址:650500 云南省昆明市呈贡区科技信息创新孵化中心A座17楼1701室
- 发明人: 云南联合视觉科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 通过逐步迁移领域训练专业医疗大模型的方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410167626.5 |
| 申请日 | 2024/2/6 |
| 公告号 | CN117709441A |
| 公开日 | 2024/3/15 |
| IPC主分类号 | G06N3/096 |
| 权利人 | 云南联合视觉科技有限公司 |
| 发明人 | 王中海; 詹忆冰; 陶大鹏; 张冲; 林旭; 刘伟锋; 刘宝弟; 李艳鸿; 周博豪 |
| 地址 | 云南省昆明市呈贡区科技信息创新孵化中心A座17楼1701室 |
专利主权项内容
1.通过逐步迁移领域训练专业医疗大模型的方法，其特征在于：所述方法的具体步骤如下：Step1、将预训练模型迁移至通用医疗领域；包括：Step1.1、获取通用医疗数据；Step1.2、训练预训练大模型，得到通用医疗领域大模型；训练时，使用通用医学指令数据对大模型进行有监督微调；Step2、将通用医疗领域大模型迁移至麻醉专业领域；包括：Step2.1、获取专业医疗数据；Step2.2、训练通用医疗领域大模型，获得麻醉专业大模型；训练时，在通用医疗大模型的基础上继续进行有监督微调，对于专业的医疗指令数据使用全微调的方式去训练。