← 返回列表
结合微调技术和分布式调度的大模型训练部署方法及系统
申请人信息
- 申请人:杭州实在智能科技有限公司
- 申请人地址:310000 浙江省杭州市余杭区余杭街道文一西路1818-2号6幢6层
- 发明人: 杭州实在智能科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 结合微调技术和分布式调度的大模型训练部署方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410110035.4 |
| 申请日 | 2024/1/26 |
| 公告号 | CN117632381A |
| 公开日 | 2024/3/1 |
| IPC主分类号 | G06F9/455 |
| 权利人 | 杭州实在智能科技有限公司 |
| 发明人 | 汪东瑶; 欧阳小刚; 孙林君 |
| 地址 | 浙江省杭州市余杭区余杭街道文一西路1818-2号6幢6层 |
摘要文本
本发明属于计算机应用技术领域，具体涉及结合微调技术和分布式调度的大模型训练部署方法及系统。方法包括：S1，选择一个大型神经网络模型作为基座模型；S2，使用微调技术对基座模型进行微调，并对比不同方式微调的结果，选取效果最好的参数进行存储；所述微调技术包含指令微调、LoRA微调和部分网络层冻结微调；S3，使用微调后的基座模型，通过分布式调度技术对新的任务请求进行任务处理。本发明具有能够在保持高性能的同时，显著降低计算和存储开销，并实现模型的快速适应性的特点。
专利主权项内容
1.结合微调技术和分布式调度的大模型训练部署方法，其特征在于，包括如下步骤；S1，选择一个大型神经网络模型作为基座模型；S2，使用微调技术对基座模型进行微调，并对比不同方式微调的结果，选取效果最好的参数进行存储；所述微调技术包含指令微调、LoRA微调和部分网络层冻结微调；S3，使用微调后的基座模型，通过分布式调度技术对新的任务请求进行任务处理。