← 返回列表
一种语言模型混合训练方法、装置、电子设备和存储介质
申请人信息
- 申请人:苏州元脑智能科技有限公司
- 申请人地址:215000 江苏省苏州市吴中经济开发区郭巷街道官浦路1号9幢
- 发明人: 苏州元脑智能科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种语言模型混合训练方法、装置、电子设备和存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410231729.3 |
| 申请日 | 2024/2/29 |
| 公告号 | CN117829149A |
| 公开日 | 2024/4/5 |
| IPC主分类号 | G06F40/289 |
| 权利人 | 苏州元脑智能科技有限公司 |
| 发明人 | 闫瑞栋; 金良; 刘璐; 徐聪 |
| 地址 | 江苏省苏州市吴中经济开发区郭巷街道官浦路1号9幢 |
摘要文本
更多数据：搜索 。本发明实施例提供了一种语言模型混合训练方法、装置、电子设备和存储介质；涉及计算机系统和数据处理技术领域；包括：获取待训练神经网络模型和训练文本数据；对所述训练文本数据进行文本预处理，生成训练样本集；基于预设二阶优化算法，输入所述训练样本集至所述待训练神经网络模型，生成中间神经网络模型；采集所述中间神经网络模型的模型参数；判断所述模型参数是否触发预设训练切换条件；响应于所述模型参数触发所述预设训练切换条件，基于预设一阶优化算法，输入所述训练样本集至所述中间神经网络模型，生成目标神经网络模型；通过本发明实施例可以提高大型模型的训练速度和准确度。
专利主权项内容
1.一种语言模型混合训练方法，其特征在于，包括：获取待训练神经网络模型和训练文本数据；对所述训练文本数据进行文本预处理，生成训练样本集；基于预设二阶优化算法，输入所述训练样本集至所述待训练神经网络模型，生成中间神经网络模型；采集所述中间神经网络模型的模型参数；判断所述模型参数是否触发预设训练切换条件；响应于所述模型参数触发所述预设训练切换条件，基于预设一阶优化算法，输入所述训练样本集至所述中间神经网络模型，生成目标神经网络模型。