模型构建方法、文本生成方法、装置、设备及介质
摘要文本
本发明实施例提供了一种模型构建方法、文本生成方法、装置、设备及介质，涉及文本生成技术领域。该方法包括：待训练的文本生成模型中包括稀疏主题编码网络、主题特征适配网络和文本生成网络；基于稀疏主题编码网络对获取到的样本主题词分布矩阵进行处理，得到样本稀疏主题上下文向量；基于主题特征适配网络对样本稀疏主题上下文向量进行转换，得到样本上下文向量；基于文本生成网络对样本上下文向量和样本文本进行处理，得到文本生成网络的输出；根据计算的损失函数值对三个网络的网络参数进行更新，直至损失函数收敛，得到训练好的文本生成模型，从而在文本生成模型中实现主题挖掘模块和文本生成模块的协同训练，并提高文本生成模型的可解释性。
申请人信息
- 申请人:苏州元脑智能科技有限公司
- 申请人地址:215000 江苏省苏州市吴中经济开发区郭巷街道官浦路1号9幢
- 发明人: 苏州元脑智能科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 模型构建方法、文本生成方法、装置、设备及介质 |
| 专利类型 | 发明授权 |
| 申请号 | CN202311754111.7 |
| 申请日 | 2023/12/19 |
| 公告号 | CN117436443B |
| 公开日 | 2024/3/15 |
| IPC主分类号 | G06F40/289 |
| 权利人 | 苏州元脑智能科技有限公司 |
| 发明人 | 刘陆阳; 张闯; 林群阳; 王敏 |
| 地址 | 江苏省苏州市吴中经济开发区郭巷街道官浦路1号9幢 |
专利主权项内容
1.一种模型构建方法，其特征在于，应用于稀疏主题可控的文本生成系统，所述稀疏主题可控的文本生成系统至少包括：样本主题词获取单元、样本稀疏主题获取单元、样本稀疏主题转换单元、样本文本生成单元以及模型训练单元；所述方法包括：通过所述样本主题词获取单元，获取样本主题词分布矩阵；通过所述样本稀疏主题获取单元，基于待训练的文本生成模型中的稀疏主题编码网络，对所述样本主题词分布矩阵进行处理，得到样本稀疏主题上下文向量；通过所述样本稀疏主题转换单元，基于待训练的文本生成模型中的主题特征适配网络，基于自注意力机制和随机噪声扰动对所述样本稀疏主题上下文向量进行转换，得到样本上下文向量；通过所述样本文本生成单元，基于待训练的文本生成模型中的文本生成网络，对所述样本上下文向量和样本文本数据集中的样本文本进行处理，得到所述文本生成网络的输出；其中，所述文本生成网络为包括交叉注意力层的自回归文本生成网络，所述样本上下文向量表征所述样本稀疏主题上下文向量映射到了所述自回归文本生成网络的特征空间中；通过所述模型训练单元，基于所述文本生成网络的输出计算损失函数值，根据所述损失函数值对所述稀疏主题编码网络、所述主题特征适配网络和所述文本生成网络的网络参数进行更新，直至损失函数收敛，得到训练好的文本生成模型。 关注微信公众号马克数据网