一种基于噪声绑定扩散模型的对话摘要方法

专利主权项内容

1.一种基于噪声绑定扩散模型的对话摘要方法，将对话输入对话摘要模型，生成对话摘要；对话摘要模型包括噪声绑定模块、询问生成模块、对话编码器和扩散编码-解码器；扩散编码-解码器包括扩散编码器和扩散解码器；对话摘要模型的训练过程，包括以下步骤：S1，使用询问生成模块，根据输入的对话生成相应的询问信息/>；S2，将询问信息和对话/>串联拼接，输入对话编码器，得到询问感知的对话表征/>；S3，通过噪声绑定模块随机生成噪声向量，并将人工标注的对话摘要/>转换为二进制的比特表征/>，扩散编码器使用噪声向量/>对/>进行扩散加噪处理，扩散加噪处理过程总共包括/>步，得到扩散加噪处理第t步的加噪表征/>以及最后一步的加噪表征/>；S4，将对话表征输入扩散编码-解码器，并使用扩散解码器/>对加噪表征/>进行去噪处理，去噪处理包括/>步，得到去噪处理第/>步的去噪比特表征/>、最后一步的去噪比特表征/>以及预测的对话摘要/>，将去噪处理第/>步的去噪比特表征/>与第t步得到的加噪表征/>对比得到扩散损失/>；将预测的对话摘要/>与人工标注的对话摘要对比，计算损失/>；则总损失/>；通过总损失/>并使用反向传播算法更新扩散编码-解码器的模型参数；即，对话摘要模型训练时，仅更新扩散编码-解码器的模型参数；步骤S3中，通过噪声绑定模块随机生成噪声向量时，具体包括：通过噪声绑定模块生成噪音集，从噪音集中随机采样/>个噪声单词，使用一个嵌入层矩阵/>将各噪声单词转换成噪声表征/>，然后对所有的噪声表征取平均值并进行归一化操作/>，得到噪声向量/>；/>表示第/>个噪声表征；步骤S3中，将人工标注的对话摘要转换为二进制的比特表征/>，使用噪声向量/>对进行扩散加噪处理，得到加噪表征/>时，具体包括：基于比特扩散网络将对话摘要/>中的单词转换为二进制的比特表征/>，然后使用噪声向量/>对/>进行扩散加噪处理，扩散加噪处理过程总共包括/>步，扩散加噪处理第t步得到的加噪表征/>为：；/>表示预先定义的超参数；步骤S4中，所述扩散损失为：/>；其中/>用于计算向量的长度；通过损失函数/>计算所述损失/>：/>；损失函数为交叉熵损失函数。 马 克 数 据 网