一种基于多模态深度学习的冒犯性评论识别方法

专利主权项内容

1.一种基于多模态深度学习的冒犯性评论识别方法，其特征在于从多种模态的信息中提取特征，同时将这些特征划分为多种粒度进行融合，然后使用融合后的特征进行冒犯性评论识别，该方法包括以下步骤：第一步，构建冒犯性评论数据集：首先从利用爬虫爬取数据、整合现有的相关数据集等多个渠道获取原始的冒犯性评论数据，将每一条原始的冒犯性评论数据表示为一个二元组；然后采用人工操作和使用第三方工具包两种方法，根据每一个二元组构建词语集合；接着对原始的冒犯性评论数据进行标注；最后将每一个二元组与其对应的词语集合和标注构造成四元组，所有的四元组构成一个冒犯性评论数据集；第二步，构建冒犯性评论识别模型：首先运用Bert(Bidirectional Encoder from
Transformers)模型对输入的文本模态数据进行编码，同时构建快速视觉几何群神经网络
(Fast-Visual Geometry Group Network，Fast-VGG)对输入的图像模态数据进行特征提
取；然后构建门控循环图卷积神经网络(Gate Recurrent- Graph Convolutional
Network，G-GCN)融合不同模态的特征向量；最后根据G-GCN融合得到的特征向量，运用激活函数判断该评论是否具有冒犯性；
第三步，设置模型的所有相关参数：设置特征图的维度、学习率的大小、批处理的大小、优化器的选择等与模型相关的参数；将训练集和验证集加载至该模型中进行训练，得该模型训练后的最优参数；第四步，运用该冒犯性评论识别模型，对评论进行冒犯性识别，将测试集输入到训练好的冒犯性评论识别模型中进行测试，使用机器学习中的准确率和MMR作为该冒犯性评论识别模型在执行冒犯性评论识别任务时的评估指标，然后将该冒犯性评论识别模型运用于不同数据集的冒犯性评论识别任务当中。