← 返回列表

一种心理领域数据生成、模型训练方法、装置及存储介质

申请号: CN202410033864.7
申请人: 广东数业智能科技有限公司
更新日期: 2026-03-17

专利详细信息

项目 内容
专利名称 一种心理领域数据生成、模型训练方法、装置及存储介质
专利类型 发明申请
申请号 CN202410033864.7
申请日 2024/1/10
公告号 CN117828063A
公开日 2024/4/5
IPC主分类号 G06F16/332
权利人 广东数业智能科技有限公司
发明人 唐天驰; 刘昌松; 刘胜坤; 张汝民
地址 广东省广州市黄埔区科学大道90号301房302-1房

摘要文本

来自马-克-数-据 。本发明人工智能技术领域,提供了一种心理领域数据生成、模型训练方法、装置及存储介质。目的在于解决目前缺乏有效的生成心理领域高质量对话数据生成和训练垂直领域大语言模型的方法。输入策略标注语料和开源数据集,构建马尔科夫链生成策略,去重并初始化话题和策略组列表,供多轮对话生成。通过策略匹配找到最相似对话案例,提供给专家级语言模型引导回复。定义模板并用案例、问题和策略填充,生成多轮对话并保存为心理领域数据集。训练大语言模型以适应心理领域多轮对话任务,采用特殊标识符、因果语言模型和加权平均损失函数提升专业度和针对性。

专利主权项内容

1.一种心理领域数据生成、模型训练方法, 其特征在于,包括以下步骤:步骤1.策略模拟步骤:输入策略标注语料和开源数据集,然后通过构建马尔科夫链模拟人工标注生成策略,接着对开源数据集进行去重,然后初始化话题列表和策略组列表,最后将话题列表和策略组列表输出到多轮对话生成步骤;步骤2.对话案例检索步骤:输入策略组和问题,然后通过策略匹配找到相似的候选对话案例, 接着,对候选对话案例和问题进行编码,并计算它们之间的余弦相似度,以找到最匹配的对话案例作为样本; 最后,将找到的最匹配的对话案例作为样本,提供给多轮对话生成步骤的专家级大型语言模型作为参考案例,以更好地引导其生成回复;步骤3.多轮对话生成步骤:定义模板,然后用对话案例检索步骤输出的对话案例、用户的问题和基于马尔科夫链生成的策略对模板进行填充内容后输入大语言模型,生成多轮对话,保存数据,形成心理领域多轮对话数据集;步骤4.模型训练步骤:基于多轮对话数据训练大语言模型,以适应心理领域多轮对话任务,通过添加特殊标识符区分对话数据的不同部分,并使用因果语言模型保持生成的因果关系,通过向量空间距离损失函数与交叉熵损失函数的加权平均损失函数,以提升模型在心理领域对话的专业度,通过计算损失并进行加权平均,训练模型预测回复策略和回答,使其在心理领域问题上更具专业性和针对性。