← 返回列表
一种提高大语言模型训练效果的方法、装置及介质
摘要文本
本申请公开了一种提高大语言模型训练效果的方法、装置及介质，该方法包括：获取初始语料文本集合；其中，初始语料文本集合中包括多篇语料文本，每篇语料文本对应一个标签信息集合；对初始语料文本集合中的所有语料文本进行预处理，得到目标语料文本集合；对目标语料文本集合中的目标语料文本进行语义分割，得到多个分割词汇；基于分割词汇对预设的词汇库进行更新，得到更新后的词汇库；根据目标语料文本的目标标签信息集合，从多篇目标语料文本中确定出专业语料文本和通用语料文本；基于更新后的词汇库、专业语料文本以及通用语料文本对预先构建的大语言模型进行训练，得到训练后的大语言模型。本申请能够提升训练得到的大语言模型的效果。 来源：马 克 团 队
申请人信息
- 申请人:四川蜀天信息技术有限公司
- 申请人地址:625000 四川省雅安市雨城区和兴街3号姚桥农贸市场1层等8处
- 发明人: 四川蜀天信息技术有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种提高大语言模型训练效果的方法、装置及介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410164274.8 |
| 申请日 | 2024/2/5 |
| 公告号 | CN117709355A |
| 公开日 | 2024/3/15 |
| IPC主分类号 | G06F40/30 |
| 权利人 | 四川蜀天信息技术有限公司 |
| 发明人 | 王帅; 周舒婷; 雷成铭; 陈玉梅; 张光谱 |
| 地址 | 四川省雅安市雨城区和兴街3号姚桥农贸市场1层等8处 |
专利主权项内容
1.一种提高大语言模型训练效果的方法，其特征在于，所述方法包括：获取初始语料文本集合；其中，所述初始语料文本集合中包括多篇语料文本，每篇所述语料文本对应一个标签信息集合；所述标签信息集合中至少包括语料文本的下载地址标识和所属领域标识；对所述初始语料文本集合中的所有所述语料文本进行预处理，得到目标语料文本集合；对所述目标语料文本集合中的目标语料文本进行语义分割，得到多个分割词汇；基于所述分割词汇对预设的词汇库进行更新，得到更新后的词汇库；根据所述目标语料文本的目标标签信息集合，从多篇目标语料文本中确定出专业语料文本和通用语料文本；其中，所述专业语料文本的数量与所述通用语料文本的数量的比值为预设比值；基于所述更新后的词汇库、所述专业语料文本以及所述通用语料文本对预先构建的大语言模型进行训练，得到训练后的大语言模型。 来源：百度马 克 数据网