← 返回列表

基于层次化注意力机制的文本情感分类方法及系统

申请号: CN202410216838.8
申请人: 山东省计算中心(国家超级计算济南中心); 齐鲁工业大学(山东省科学院)
申请日期: 2024/2/28

摘要文本

本发明提出了基于层次化注意力机制的文本情感分类方法及系统,涉及人工智能领域,具体方案包括:对待分类的文本数据进行数据预处理,并通过Bert模型将其转化为情感词向量;将情感词向量输入到基于层次化注意力机制的文本情感分类模型中,生成并输出文本情感分类结果;其中,所述层次化注意力机制由缩放点积注意力层、注意力池化层和多头注意力层组成,通过缩放点积注意力层对情感词向量进行初步筛选,增强词向量的表示能力,所述注意力池化层用来筛选重要的情感特征,而多头注意力层进行进一步的特征提取和整合;本发明充分挖掘文本语义信息,从而显著提高情感分类的准确率。

专利详细信息

项目 内容
专利名称 基于层次化注意力机制的文本情感分类方法及系统
专利类型 发明申请
申请号 CN202410216838.8
申请日 2024/2/28
公告号 CN117786120A
公开日 2024/3/29
IPC主分类号 G06F16/35
权利人 山东省计算中心(国家超级计算济南中心); 齐鲁工业大学(山东省科学院)
发明人 王继彬; 张鑫硕; 郭莹; 吴晓明
地址 山东省济南市经十路东首科学院路19号; 山东省济南市西部新城大学科技园

专利主权项内容

1.基于层次化注意力机制的文本情感分类方法,其特征在于,包括:对待分类的文本数据进行数据预处理,并通过Bert模型将其转化为情感词向量;将情感词向量输入到基于层次化注意力机制的文本情感分类模型中,生成并输出文本情感分类结果;其中,所述层次化注意力机制由缩放点积注意力层、注意力池化层和多头注意力层组成,通过缩放点积注意力层对情感词向量进行初步筛选,增强词向量的表示能力,所述注意力池化层用来筛选重要的情感特征,而多头注意力层进行进一步的特征提取和整合。