← 返回列表
一种预训练模型的训练方法及系统
摘要文本
本发明实施例公开了一种预训练模型的训练方法，将招聘语料进行结构化处理获取招聘各环节任务的数据集；以处理后的语料作为Bert模型的输入，执行预训练任务得到第一模型；将招聘各环节任务的数据集和训练数据集分别作为文本句和实体句；以提示模板、文本句以及实体句作为第一模型的输入生成文本句实体相关提示语与实体句实体相关提示语，计算文本句实体相关提示语与实体句实体相关提示语相关的相似损失、对比损失，得到预训练模型。本发明实施例还公开了一种预训练模型的训练系统。本发明能支持在线招聘市场中的表征嵌入需要，满足岗位分类、人岗匹配、薪资预测等招聘各环节智能评估需求，提供了人才服务行业人员招聘全环节的智能化工具。
申请人信息
- 申请人:北京华品博睿网络技术有限公司
- 申请人地址:100028 北京市朝阳区太阳宫中路16号院1号楼18层1801内09
- 发明人: 北京华品博睿网络技术有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种预训练模型的训练方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410048860.6 |
| 申请日 | 2024/1/12 |
| 公告号 | CN117574159A |
| 公开日 | 2024/2/20 |
| IPC主分类号 | G06F18/214 |
| 权利人 | 北京华品博睿网络技术有限公司 |
| 发明人 | 秦川; 祝恒书; 方楚喻; 朱琛; 宋洋; 赵鹏 |
| 地址 | 北京市朝阳区太阳宫中路16号院1号楼18层1801内09 |
专利主权项内容
1.一种预训练模型的训练方法，其特征在于，所述方法包括：对招聘领域的多源数据进行数据脱敏和数据清洗形成招聘语料，将所述招聘语料进行结构化处理获取招聘各环节任务的数据集，其中，所述招聘领域的多源数据包括简历文本、岗位描述以及面试评论；对所述招聘语料进行处理得到处理后的招聘语料，以所述处理后的招聘语料作为Bert模型的输入，执行预训练任务得到第一模型，其中，所述预训练任务包括下一句预测任务以及遮掩词建模任务；从所述招聘各环节任务的数据集抽取出训练数据集，将所述招聘各环节任务的数据集和所述训练数据集分别作为文本句和实体句；以提示模板、所述文本句以及所述实体句作为所述第一模型的输入生成文本句实体相关提示语与实体句实体相关提示语，并计算所述文本句实体相关提示语与所述实体句实体相关提示语的相似损失以及不同的所述实体句实体相关提示语之间的对比损失，得到训练好的预训练模型。 搜索马 克 数 据 网