一种融合知识图谱与图像识别的垃圾分类方法

专利主权项内容

1.一种融合知识图谱与图像识别的垃圾分类方法，其特征在于，是按照如下步骤进行：步骤1、构建知识图谱问答模型：步骤1.1、获取垃圾信息集合R＝{R, R, …, R, …, R}，其中，R为第t种垃圾信息，且包含垃圾实体名和垃圾属性，其中垃圾属性包括：垃圾种类、垃圾图片；T为垃圾信息的种类数；t∈[1, T]；12tTt步骤1.2、收集垃圾信息集合R中各个垃圾实体名及其垃圾属性之间、各个垃圾属性之间的关联信息，并利用先验知识，构建包含垃圾实体节点、垃圾属性节点及关联信息的知识图谱G，并得到垃圾实体的文本数据r及垃圾种类属性的文本数据c；r步骤1.3、利用知识图谱表示学习模型TransR提取每个垃圾实体对应的实体向量e＝{e, e, …, e, …, e}，e表示第t种垃圾实体对应的实体向量，t∈[1, T]；12tTt步骤1.4、将r和c合并成文本数据集合，并遍历文本数据集合，用于构建Ac自动机树；步骤1.5、基于r和c构建字典wd，所述字典wd中的任一键值对中的键包含垃圾实体名或垃圾种类；步骤1.6、将输入的问题与Ac自动机树进行匹配，获取M个匹配的垃圾实体名/垃圾种类的词汇，根据M个词汇在字典wd中找到对应的M个键值对w＝{w, w, …, w, …w}，其中，w表示第k个匹配的词汇对应的键值对，且w包含第k个匹配的词汇及其词汇类型，k∈[1, M]；12kMkk步骤1.7、对所述问题进行疑问词提取，得到问题的疑问词，并与设定的疑问词列表进行对比，若问题的疑问词在所述疑问词列表中，且w中匹配的词汇包含垃圾实体名，则表示输入问题的类型为有效问题，并将w和问题的类型q构成问题的字典d，否则，表示输入问题的类型为无效问题；步骤1.8、对问题的字典d进行解析，并提取w中的垃圾实体名后，结合问题类型q和问题中包含的垃圾实体名创建包含此垃圾实体名和其种类属性的neo4j图数据库的查询语句cypher；步骤1.9、执行查询语句cypher，从而根据问题类型q生成对应垃圾种类的答案模板a；步骤2、图像识别模型的构建及训练：步骤2.1、获取T类维度为H×W×C的垃圾图片样本并进行归一化和数据增强预处理，得到预处理后的图片序列并作为训练样本，记为S＝{S, S, …, S, …, S}，其中，S表示第t类预处理后的垃圾图片样本，且表示第t类预处理后的垃圾图片样本S中的第j个图片，H表示高度、W表示宽度、C表示通道数；J表示第t类预处理后的垃圾图片样本S的总数；12tTtttt步骤2.2、搭建由骨干网络、分类网络的图像识别网络；步骤2.2.1、骨干网络是基于VGG16网络，包含五个卷积池化块，每个卷积池化块中的的卷积核大小均为m×m，池化核大小为n×n；1112将输入到骨干网络中进行处理，并输出第t类第j个图片/>对应的特征向量/>步骤2.2.2、所述分类网络包括一个展平层、两个全连接层、一个批归一化层、一个dropout层、一个注意力机制层；将输入到展平层中展平为一维向量，并依次输入到激活函数为relu的第一个全连接层、批归一化层、dropout层中进行处理，得到第t类第j个垃圾图片向量/>从而得到第t类垃圾图片的向量集合/>步骤2.2.3、激活函数为softmax的注意力机制层将实体向量e和W中表示相同垃圾的文本向量和图片向量结合起来，得到第t类垃圾融合向量表示第t类预处理后的垃圾图片样本S中第j个垃圾的向量；ttt步骤2.2.4、将垃圾向量输入到激活函数为Softmax的第二个全连接层中进行处理，获得示/>的预测概率分布，并选取概率最高的类别作为/>的预测类别；步骤2.2.5、基于S的预测类别和真实类别构建交叉熵损失函数，并利用adam优化方法对图像识别网络进行优化，并计算所述交叉熵损失函数以更新网络的参数，直到交叉熵损失函数收敛为止，从而得到最优垃圾分类模型；t步骤3、获取用户输入的新问题并按照步骤1.6-步骤1.9的处理，得到新问题的垃圾种类答案；步骤4、将用户拍摄的垃圾图像输入最优垃圾分类模型进行识别，并得到垃圾图像预测的种类。