← 返回列表
一种考虑远帧依赖关系的多模态多目标3D跟踪方法及装置
摘要文本
本发明属于3D多目标跟踪技术领域，提供了一种考虑远帧依赖关系的多模态多目标3D跟踪方法及装置。本跟踪方法包括以下步骤：获取多帧场景的RGB和3D点云信息；填充滑动窗口；将3D坐标对齐到可学习参数的3D坐标系；划分3D栅格，提取逐框3D特征；提取2D逐像素深层次特征并映射，提取逐框3D映射特征；查询向量表生成初始3D检测框表示；通过Transformer解码器同时预测多帧多目标检测框；进行各帧3D检测框的ID匹配；采用卡尔曼滤波器进行3D检测框的更新。本跟踪方法考虑了滑动窗口内多帧间的长距离上下文依赖关系，使用Transformer自动学习不同帧不同点间的特征权重，有效应对了跨多帧跟踪时的目标遮挡问题和目标丢失问题。
申请人信息
- 申请人:扬州万方科技股份有限公司
- 申请人地址:225000 江苏省扬州市广陵产业园安林路96号
- 发明人: 扬州万方科技股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种考虑远帧依赖关系的多模态多目标3D跟踪方法及装置 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311459231.4 |
| 申请日 | 2023/11/3 |
| 公告号 | CN117576150A |
| 公开日 | 2024/2/20 |
| IPC主分类号 | G06T7/246 |
| 权利人 | 扬州万方科技股份有限公司 |
| 发明人 | 周思远; 朱玉鹤; 周春云; 包敏 |
| 地址 | 江苏省扬州市广陵产业园安林路96号 |
专利主权项内容
1.一种考虑远帧依赖关系的多模态多目标3D跟踪方法，其特征在于，包括以下步骤：S1：获取多帧场景的RGB信息和3D点云信息；S2：在3D滑动窗口内填充跟踪场景到固定窗口大小；S3：将所述滑动窗口内的各帧3D坐标对齐到可学习参数的3D坐标系；S4：划分3D栅格，按照所述3D栅格提取逐框3D特征；S5：提取2DRGB逐像素深层次特征并映射到可学习参数的3D坐标系下，按照所述3D栅格提取逐框3D映射特征；S6：查询可学习参数的向量表生成初始3D检测框表示；S7：通过Transformer解码器同时预测多帧多目标检测框位置、大小、角度、类别概率；S8：采用匈牙利算法进行各帧所述3D检测框的ID匹配；S9：采用卡尔曼滤波器进行所述3D检测框的更新。