← 返回列表
一种针对中文大语言模型的对齐测评方法
摘要文本
本发明属于大模型技术领域，涉及一种针对中文大语言模型的对齐测评方法，包括：1)、构建对齐数据集，每条对齐数据都包括一个任务导向的用户问题、一个规则校准的参考答案和所述任务导向的用户问题对应的分类类别；2)、将对齐数据输入到待评测的中文大语言模型中，由待评测的中文大语言模型针生成对应的模型回复；3)、构建AlignBench，AlignBench规定了对齐测评任务指令、按照类别选择的打分维度和解释规则、测评流程以及打分规则；4)、由GPT‑4基于对齐数据、模型回复和AlignBench对待测评的中文大语言模型的对齐能力进行测评，以获得一个从1到10的最终评级和一个多维度的分析解释。其具有显著更好的人类偏好，增强了可靠性且平衡了评测的透明性和有效性。 专利查询网
申请人信息
- 申请人:北京智谱华章科技有限公司
- 申请人地址:100086 北京市海淀区中关村东路1号院9号楼10层整层
- 发明人: 北京智谱华章科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种针对中文大语言模型的对齐测评方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311621019.3 |
| 申请日 | 2023/11/30 |
| 公告号 | CN117633225A |
| 公开日 | 2024/3/1 |
| IPC主分类号 | G06F16/35 |
| 权利人 | 北京智谱华章科技有限公司 |
| 发明人 | 刘潇; 雷轩宇; 王圣远; 黄跃 |
| 地址 | 北京市海淀区中关村东路1号院9号楼10层整层 |
专利主权项内容
1.一种针对中文大语言模型的对齐测评方法，其特征在于，包括以下步骤：1)、构建对齐数据集，所述对齐数据集中的每条对齐数据都包括一个任务导向的用户问题、一个规则校准的参考答案和所述任务导向的用户问题对应的分类类别；2)、将所述对齐数据集中的每条对齐数据都输入到待评测的中文大语言模型中，由所述待评测的中文大语言模型针对每条所述对齐数据分别生成对应的模型回复；3)、基于所述任务导向的用户问题对应的分类类别构建AlignBench，所述AlignBench规定了对齐测评任务指令、按照类别选择的打分维度和解释规则、测评流程以及打分规则；4)、由GPT-4基于所述对齐数据、模型回复和AlignBench对所述待测评的中文大语言模型的对齐能力进行测评，以获得所述待测评的中文大语言模型的一个从1到10的最终评级和一个多维度的分析解释。。数据由马 克 数 据整理