← 返回列表
一种知识共享的大语言模型协同优化方法和系统
申请人信息
- 申请人:广西壮族自治区通信产业服务有限公司技术服务分公司
- 申请人地址:530006 广西壮族自治区南宁市总部路1号中国-东盟科技企业孵化基地一期中国-东盟科技企业孵化基地一期A-13栋202号
- 发明人: 广西壮族自治区通信产业服务有限公司技术服务分公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种知识共享的大语言模型协同优化方法和系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311354420.5 |
| 申请日 | 2023/10/18 |
| 公告号 | CN117540829A |
| 公开日 | 2024/2/9 |
| IPC主分类号 | G06N20/20 |
| 权利人 | 广西壮族自治区通信产业服务有限公司技术服务分公司 |
| 发明人 | 何国对; 陈定甲; 钟英生; 施宇; 苏一海; 赵芸; 蒋占文; 刘旭鹏; 龙珑; 陈琳; 李明清 |
| 地址 | 广西壮族自治区南宁市总部路1号中国-东盟科技企业孵化基地一期中国-东盟科技企业孵化基地一期A-13栋202号 |
摘要文本
广西壮族自治区通信产业服务有限公司技术服务分公司取得“一种透气窗帘布”专利技术，本申请涉及了一种知识共享的大语言模型协同优化方法和系统，方法通过知识共享的方式达到数据隐私保护的目的，通过多客户端协同优化的方式保证每一客户端的本地语言模型的语义理解与生成能力，通过协同学习将模型训练分布到多个本地的客户端上，避免了中央化数据的集中存储，这种分布式学习方式使得模型在海量的语料库上学习到丰富的语言知识。本方法在客户端进行判定时，通过KL散度衡量服务器与客户端分布的相似度，以确定服务器与客户端的差异性，达到个性化学习的目的。
专利主权项内容
1.一种知识共享的大语言模型协同优化方法，其特征在于，用于客户端，所述知识共享的大语言模型协同优化方法包括：获取语言数据；根据训练好的本地语言模型对所述语言数据进行语义判断；其中所述本地语言模型通过如下方式进行训练：接收服务器下发的当前训练次数下的第一权重参数；所述当前训练次数下的第一权重参数是服务器根据若干客户端的本地语言模型在上一训练次数分别生成的第二权重参数聚合得到；通过KL散度衡量所述服务器的语言模型输出预测的向量与所述本地语言模型输出预测的向量之间的相似度，根据所述相似度构建损失函数，基于所述损失函数，采用所述当前训练次数下的第一权重参数对所述本地语言模型更新，得到所述本地语言模型在当前训练次数下生成的第二权重参数；将所述当前训练次数下生成的第二权重参数上传至所述服务器，以使所述服务器根据若干客户端的本地语言模型在当前训练次数下分别生成的第二权重参数聚合得到下一训练次数下的第一权重参数；接收所述服务器下发的下一训练次数下的第一权重参数，并依次类推进行下一次更新，直至得到训练好的所述本地语言模型。。关注公众号马克数据网