← 返回列表
一种弱监督的3D场景图生成方法、装置、设备及介质
申请人信息
- 申请人:深圳大学
- 申请人地址:518060 广东省深圳市南山区南海大道3688号
- 发明人: 深圳大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种弱监督的3D场景图生成方法、装置、设备及介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410239419.6 |
| 申请日 | 2024/3/4 |
| 公告号 | CN117830537A |
| 公开日 | 2024/4/5 |
| IPC主分类号 | G06T17/00 |
| 权利人 | 深圳大学 |
| 发明人 | 王旭; 李逸凡; 张秋丹; 刘学迅; 江健民 |
| 地址 | 广东省深圳市南山区粤海街道南海大道3688号 |
摘要文本
本发明公开了一种弱监督的3D场景图生成方法、装置、设备及介质，通过获取包含3D点云、视觉图像以及三元组标签集文本的训练数据；将3D点云与物体对应的视频帧对齐；分别进行特征提取，得到包含点云特征、图像特征和文本特征；根据图像特征和文本特征之间的第一相似度矩阵为物体分配节点伪标签；根据点云特征和文本特征之间的第二相似度矩阵确定关系伪标签；通过图神经网络进行节点特征和边特征节点之间的特征传递，计算预测标签；构建交叉熵损失函数进行分类训练；根据训练得到的物体分类器完成3D场景中的物体和关系类别的生成，得到3D场景图。本申请方案能够减少全监督过程的标注工作，促进3D场景图的应用。
专利主权项内容
1.一种弱监督的3D场景图生成方法，其特征在于，所述方法包括：获取包含3D点云、视觉图像以及三元组标签集文本的训练数据；将每一个物体对应的3D点云与物体对应的视频帧对齐；分别对3D点云、图像和三元组标签集分别进行特征提取，得到包含节点特征和边特征的点云特征、图像特征和文本特征；采用预设的CLIP编码器根据所述图像特征和所述文本特征之间的第一相似度矩阵为物体分配节点伪标签；采用所述CLIP编码器根据所述点云特征和所述文本特征之间的第二相似度矩阵确定关系伪标签；通过预设的图神经网络进行所述节点特征和所述边特征节点之间的特征传递，计算预测标签；根据所述节点伪标签、所述关系伪标签、以及所述预测标签构建交叉熵损失函数进行分类训练；根据训练得到的物体分类器完成3D场景中的物体和关系类别的生成，得到3D场景图。 来自马克数据网