一种基于多模态图神经网络的关联零碎图层合并方法及装置

专利主权项内容

1.一种基于多模态图神经网络的关联零碎图层合并方法，其特征在于，包括以下步骤：获取GUI原始设计稿文件，其包括各图层的坐标位置及尺寸，图像信息以及类别；基于图层尺寸大小降序排列，对所有图层进行遍历以构建对应的GUI图层视图树，并连接同一树层级的每两个图层，以获得GUI图结构表达；针对GUI图结构中各节点上的图层，采用高频函数将图层的坐标位置和尺寸转换为高维向量，并将图像信息对应的视觉特征向量，类别对应的类别嵌入向量与所述高维向量通过参数矩阵嵌入同一空间中进行向量相加，以获得对应的节点嵌入向量，同时根据每条边的两个图层之间高维向量差值生成对应的边嵌入向量；以是否为零碎图层和图层合并区域对获取的图层进行标签标注，将GUI图结构、图层和对应的节点嵌入向量，边嵌入向量以及标签组成数据集；构建包括特征提取模块，分析模块以及预测模块的图神经网络，所述特征提取模块用于提取GUI原始设计稿文件中各图层的节点嵌入向量和边嵌入向量，所述分析模块根据提取获得的节点嵌入向量和边嵌入向量进行图层关系更新，以获得对应的融合节点嵌入向量，所述预测模块根据获得的融合节点嵌入向量，以输出预测结果，所述预测结果包括是否为零碎图层的分类结果，图层所在的图层合并区域以及图层的位置与图层合并区域之间的置信度得分；利用数据集对图神经网络进行训练，以获得用于分类图层和定位图层合并区域的分类识别模型；将待优化的原始GUI原始设计稿文件输入至分类识别模型以获得对应的预测结果，采用包围盒合并法将预测结果中相似图层合并区域的零碎图层进行聚类，并将聚类结果进行编组和合并，以生成高质量的GUI设计稿。 关注公众号马 克 数 据 网