一种基于预训练语言模型的信息记录数据分块方法

专利主权项内容

1.一种基于预训练语言模型的信息记录数据分块方法，其特征在于，包括以下步骤：步骤S1：获取预训练数据集，并进行划分；步骤S2：基于XLnet模型构建初始预训练语言模型，XLnet模型包括排列语言模型、双流注意力机制以及Transformer-XL模型；步骤S3：将划分好的预训练数据集输入到初始预训练语言模型，进行第一次训练；步骤S4：获取信息记录数据集，并对其进行预处理，得到标注数据集；步骤S5：将标注数据集输入到第一次训练得到的模型中，进行第二次训练；第二次训练利用掩码语言模型损失项、预测单词匹配损失项和分布概率损失项，构建损失函数，用来计算预测结果与真实标签之间的差距，并利用优化器和损失函数对第一次训练得到的模型的参数进行更新，得到完备的预训练语言模型；步骤S6：将分块的信息记录数据输入到完备的预训练语言模型中进行分块，完备的预训练语言模型自动预测文本块的边界，最终实现不同语义文本块的划分。