← 返回列表
一种基于元学习扩散模型的限定域受限文本生成方法
摘要文本
本发明涉及一种基于元学习扩散模型的限定域受限文本生成方法，属于人工智能、大数据、自然语言处理领域。本发明通过关键词抽取和在原始句子中随机插入特定的占位符标记[EMP]，构造大量训练样本；采用局部扩散的方式固定关键词，从而使扩散模型能够完成Hard‑CTG任务，并引入元学习策略对扩散模型训练过程进行优化；引入了另外一个特殊的标记[SLOT]用以指示MDM进行插入的位置，在逆扩散过程中，[SLOT]所标识的位置会逐步由标准高斯噪声转换为一个实际的单词或[EMP]，从而得到包含关键词输入的生成文本。本发明使得扩散模型可在条件文本生成领域发挥其强大的生成优势。
申请人信息
- 申请人:北京计算机技术及应用研究所
- 申请人地址:100854 北京市海淀区永定路51号
- 发明人: 北京计算机技术及应用研究所
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于元学习扩散模型的限定域受限文本生成方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311451928.7 |
| 申请日 | 2023/11/3 |
| 公告号 | CN117521666A |
| 公开日 | 2024/2/6 |
| IPC主分类号 | G06F40/30 |
| 权利人 | 北京计算机技术及应用研究所 |
| 发明人 | 刘琦; 柯文俊; 贺垚; 王又辰; 宋颖毅; 栾真; 苗旭 |
| 地址 | 北京市海淀区永定路51号 |
专利主权项内容
1.一种基于元学习扩散模型的限定域受限文本生成方法，其特征在于，该方法包括如下步骤：步骤一、在训练数据构造阶段中，通过关键词抽取和在原始句子中随机插入特定的占位符标记[EMP]，构造大量训练样本；步骤二、在模型训练阶段，采用局部扩散的方式固定关键词，从而使扩散模型能够完成Hard-CTG任务，并引入元学习策略对扩散模型训练过程进行优化；步骤三、最后在模型推理阶段，通过特殊的标记[SLOT]用以指示元学习扩散模型(MetaDiffusion Model，MDM)进行插入的位置，在逆扩散过程中，[SLOT]所标识的位置会逐步由标准高斯噪声转换为一个实际的单词或[EMP]，从而得到包含关键词输入的生成文本；给定一组关键词C＝{c, c, ..., c}，其中K代表关键词的个数；受限文本生成(Hard-Constrained Text Generation，Hard-CTG)任务的目标是生成一个句子S＝{s, s..., s}，使S包含C中的所有关键词，其中n，n≥K表示生成的句子长度。12K12n。百度搜索马 克 数 据 网