← 返回列表
一种基于空间特征融合和原型嵌入的无偏场景图生成方法
申请人信息
- 申请人:南通大学
- 申请人地址:226000 江苏省南通市崇川区永福路79号1幢南通大学技术转移研究院
- 发明人: 南通大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于空间特征融合和原型嵌入的无偏场景图生成方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311224546.0 |
| 申请日 | 2023/9/21 |
| 公告号 | CN117333744A |
| 公开日 | 2024/1/2 |
| IPC主分类号 | G06V10/80 |
| 权利人 | 南通大学 |
| 发明人 | 徐嘉玲; 仇佳庆; 王进; 赵颖钏; 王可; 吕泽; 陈梦; 董彦斌 |
| 地址 | 江苏省南通市崇川区永福路79号1幢南通大学技术转移研究院 |
摘要文本
本发明提供了一种基于空间特征融合和原型嵌入的无偏场景图生成方法，属于人工智能和计算机视觉技术领域。解决了场景图生成方法预测关系的准确率不足的技术问题。其技术方案为：用基于原型的表示建模主客体实例及谓词，得到若干实例原型和谓词原型，融合主客体实例原型得到主客体联合特征；建模主客体实例之间的相对位置得到空间特征；融合主客体联合特征与空间特征形成关系表示，与谓词原型进行匹配，获得匹配损失；以匹配损失和距离损失共同度量关系预测与真实谓词类之间的误差。本发明的有益效果为：本发明同时兼顾类内紧凑和类间分离的无偏场景图生成框架和每个实例的相对位置信息，来提高场景图生成中关系预测的准确率。 专利查询网
专利主权项内容
1.一种基于空间特征融合和原型嵌入的无偏场景图生成方法，其特征在于，包括以下步骤：步骤1：将数据集中的训练图像输入到目标检测器中，生成若干图像实例和相应的特征，进入步骤2；步骤2：用基于原型的表示对主客体实例及谓词进行建模，得到相应的主体、客体实例原型和谓词原型，将形成的主体和客体实例原型进行融合得到主客体联合特征，进入步骤3；步骤3：对主客体实例之间的相对位置信息进行建模，形成空间特征，进入步骤4；步骤4：对步骤2获得的主客体联合特征与步骤3获得的空间特征进行融合得到关系表示，与步骤2获得的谓词原型采用余弦相似度约束进行匹配，获得匹配损失，进入步骤5；步骤5：采用曼哈顿距离约束扩大谓词原型的差异，得到距离损失，进入步骤6；步骤6：将步骤4获得的匹配损失和步骤5获得的距离损失求和获得总损失，进行场景图生成的训练，进入步骤7；步骤7：若达到设置的批量处理大小，返回步骤1；若训练图片全部读取完成，进入步骤8；步骤8：输出训练好的模型，结束。