一种基于提示知识和混合神经网络的方面级情感分类模型
摘要文本
马-克-数据 一种基于提示知识和混合神经网络的方面级情感分类模型，涉及人工智能技术领域。本发明为了解决基于预训练模型与下游ABSC任务不一致的问题, 使预训练模型更好地适应下游任务，更充分利用句子的语义和句法信息。技术要点：提出一种PHNN模型，该模型利用提示知识(Prompt)和混合神经网络结构来解决ABSC任务。更准确地说，它首先使用Prompt将输入的句子转换为完形填空类型的文本，并利用RoBERTa预训练模型来处理输入。然后，混合神经网络结构由GCN、CNN、BiLSTM和MHA组成，其中，利用图卷积神经网络(GCN)与卷积神经网络(CNN)相结合来提取句子的句法特征，利用双向长短期记忆网络(BiLSTM)来提取句子的语义特征。此外，它利用多头注意力(MHA)机制来学习句子和方面词的注意力, 进一步提取情感信息，捕获可能遗漏的情感特征表示。最后通过Softmax函数得到方面词的情感极性。在三个基准数据集上的实验表明，与其他基线相比，PHNN具有最佳的性能，验证了本发明所提出模型的有效性。
申请人信息
- 申请人:齐齐哈尔大学
- 申请人地址:161006 黑龙江省齐齐哈尔市建华区文化大街42号
- 发明人: 齐齐哈尔大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于提示知识和混合神经网络的方面级情感分类模型 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311280894.X |
| 申请日 | 2023/9/30 |
| 公告号 | CN117473083A |
| 公开日 | 2024/1/30 |
| IPC主分类号 | G06F16/35 |
| 权利人 | 齐齐哈尔大学 |
| 发明人 | 朱文龙; 罗家豪; 杨双双; 刘沛伦; 白雨帆; 刁迎春 |
| 地址 | 黑龙江省齐齐哈尔市文化大街42号 |
专利主权项内容
1.一种基于提示知识和混合神经网络的方面级情感分类模型，其特征在于，所述方面级情感分类模型利用提示知识和混合神经网络结构来预测给定句子中特定方面词的情感极性，得到基于方面的情感分类；所述方面级情感分类模型包括提示文本构建层、句法和语义编码层以及情感分类层；提示文本构建层：对于给定的一个句子和该句中某个方面词A使用提示知识(Prompt)构造提示文本P，将原句子(给定的一个句子)和提示文本P组合得到构造后的提示文本O，构造后的提示文本O经RoBERTa处理后得到的上下文隐藏状态向量作为句法和语义编码层的图卷积神经网络(GCN)和双向长短期记忆网络(BiLSTM)的输入；同时将方面词A构造成方面文本O，经RoBERTa处理后得到的方面词向量作为两个多头注意力(MHA)的输入；inputsinputsMLMaspects句法和语义编码层：应用图卷积神经网络(GCN)与卷积神经网络(CNN)相结合来提取句子的句法特征，同时使用双向长短期记忆(BiLSTM)来获取句子的语义特征；利用多头注意力(MHA)来学习句子和方面词的注意力；GCN用于对非结构化数据的局部信息进行编码，RoBERTa输出的隐藏状态向量和原句子经依赖树处理生成的句法结构图共同作为GCN的输入，GCN利用图卷积运算来获取方面词的句法特征，CNN层再对GCN的输出进行处理，进一步提取句法特征, 经由最大池化层处理后输出给所述两个多头注意力(MHA)中的一个多头注意力(MHA)；MLMBiLSTM允许模型在前向和后向方向上对RoBERTa输出的隐藏状态向量进行编码，提取更丰富的语义特征，输出给所述两个多头注意力(MHA)中的另一个多头注意力(MHA)；MLMMHA对得到最大池化和BILSTM的输出分别与方面词向量进行交互式学习，捕获可能遗漏的情感特征表示；情感分类层：根据句法和语义编码层生成的情感特征，通过Softmax函数得到方面词的情感极性，输出句子对于给定方面表达的情感分类。