← 返回列表
面向客服场景的生成匹配式大模型构建方法、介质及设备
摘要文本
本发明提供了一种面向客服场景的生成匹配式大模型构建方法、介质及设备；该方法包括依次执行的模型设定阶段、预训练阶段、领域迁移阶段和下游微调阶段；预训练阶段是指：采用跨领域中文语料库的文本作为样本，对智慧客服大模型的大模型基座进行预训练；领域迁移阶段是指：采用客服场景数据作为样本；对智慧客服大模型的大模型基座进行弱监督训练；下游微调阶段是指：采用客服场景人工标注数据作为样本，对智慧客服大模型进行训练以学习新业务的相关知识。该方法分阶段逐步地实现和优化大模型的功能，使其具备深度挖掘大规模客服文本数据知识的能力，同时对新增的业务需求和变化的业务内容具备精准迁移和快速扩展的能力。 更多数据：www.macrodatas.cn
申请人信息
- 申请人:华南理工大学; 人工智能与数字经济广东省实验室(广州)
- 申请人地址:510640 广东省广州市天河区五山路381号
- 发明人: 华南理工大学; 人工智能与数字经济广东省实验室(广州)
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 面向客服场景的生成匹配式大模型构建方法、介质及设备 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311760197.4 |
| 申请日 | 2023/12/20 |
| 公告号 | CN117709969A |
| 公开日 | 2024/3/15 |
| IPC主分类号 | G06Q30/01 |
| 权利人 | 华南理工大学; 人工智能与数字经济广东省实验室(广州) |
| 发明人 | 张通; 邓忠易; 陈俊龙 |
| 地址 | 广东省广州市天河区五山路381号; 广东省广州市海珠区新港东路2429号首层自编051房 |
专利主权项内容
1.一种面向客服场景的生成匹配式大模型构建方法，其特征在于：包括依次执行的模型设定阶段、预训练阶段、领域迁移阶段和下游微调阶段；所述模型设定阶段，是指：设定基于Transformer架构的智慧客服大模型；所述智慧客服大模型包括大模型基座和连接在大模型基座输出端的映射模块；所述预训练阶段，是指：采用跨领域中文语料库的文本作为样本，对智慧客服大模型的大模型基座进行预训练，以使智慧客服大模型具备强泛化能力；所述领域迁移阶段，是指：采用客服场景数据作为样本；利用客服场景数据中的精标数据和通过自动标注得到的伪标签数据，对智慧客服大模型的大模型基座进行弱监督训练，以使智慧客服大模型具备强领域知识；所述下游微调阶段，是指：采用客服场景人工标注数据作为样本；样本根据业务需求拼接对应的业务需求提示模板，得到任务数据；利用任务数据对智慧客服大模型进行训练，以学习新业务的相关知识。 更多数据：