← 返回列表
一种模型训练、文本检测方法、装置、存储介质及设备
摘要文本
本说明书公开一种模型训练、文本检测方法、装置、存储介质及设备，可以通过对不同的互联网平台上公开文本数据集进行整理，同时，通过使用多种常见对话大语言模型和丰富的提示语集合，来构造用于训练检测模型的训练数据，并且，由于在构建用于训练检测模型的训练数据的过程中，针对训练数据进行了多次过滤，使得得到的训练数据更接近于实际场景中的对大语言模型生成的文本进行使用的场景。除此之外，在对检测模型进行训练的过程中，通过使用具有较大参数规模的教师大语言模型输出的依据文本供检测模型学习，从而可以提升训练后的检测模型针对通过大语言模型生成的文本进行识别的准确率。 微信公众号马克 数据网
申请人信息
- 申请人:支付宝(杭州)信息技术有限公司
- 申请人地址:310000 浙江省杭州市西湖区西溪路556号8层B段801-11
- 发明人: 支付宝(杭州)信息技术有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种模型训练、文本检测方法、装置、存储介质及设备 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311873819.4 |
| 申请日 | 2023/12/29 |
| 公告号 | CN117744837A |
| 公开日 | 2024/3/22 |
| IPC主分类号 | G06N20/00 |
| 权利人 | 支付宝(杭州)信息技术有限公司 |
| 发明人 | 徐恪; 肖勇; 赵乙; 许卓尔; 孟昌华; 王维强 |
| 地址 | 浙江省杭州市西湖区西溪路556号8层B段801-11 |
专利主权项内容
1.一种模型训练方法，包括：获取训练数据，所述训练数据包括：问题数据、标签数据，所述问题数据包括：提示语以及获取到的样本文本，所述提示语用于提示检测模型对所述样本文本进行识别，所述标签数据包括：所述样本文本的实际检测结果、预先确定的针对所述样本文本对应的实际检测结果的依据文本；将所述训练数据中的所述问题数据输入到待训练的检测模型中，以使所述待训练的检测模型根据所述问题数据，输出针对所述样本文本的检测结果，作为待验证检测结果，以及得到所述待训练的检测模型输出所述待验证检测结果的依据文本，作为待验证依据文本；以最小化通过所述待验证检测结果和所述样本文本的实际检测结果之间的偏差，以及最小化所述待验证依据文本和预先确定的得到针对所述样本文本对应的实际检测结果的依据文本之间的偏差为优化目标，对所述待训练的检测模型进行训练。