← 返回列表
一种支持文本查询的神经辐射场重建方法和装置
摘要文本
本发明提供一种支持文本查询的神经辐射场重建方法和装置,包括:步骤S1、获取相机拍摄的多视图图像并估计相机位姿;步骤S2、根据多视图图像,得到多视图图像的极线点特征;步骤S3、根据极线点特征,得到跨视图聚合特征;步骤S4、根据跨视图聚合特征,进行渲染集成;步骤S5、根据跨视图聚合特征和渲染集成结果训练语义嵌入场模型;步骤S6、根据语义嵌入场模型合成场景新视图,得到注意力图渲染场景深度图;步骤S7、根据语义嵌入场模型,渲染文本查询相关性图。采用本发明的技术方案,能够交互式地渲染查询对象的具有多视图一致的密集相关性图,另外避免使用经典可微分体渲染管道。
申请人信息
- 申请人:中国传媒大学
- 申请人地址:100024 北京市朝阳区定福庄东街一号
- 发明人: 中国传媒大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种支持文本查询的神经辐射场重建方法和装置 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410016964.9 |
| 申请日 | 2024/1/5 |
| 公告号 | CN117808957A |
| 公开日 | 2024/4/2 |
| IPC主分类号 | G06T15/55 |
| 权利人 | 中国传媒大学 |
| 发明人 | 赵艳明; 王淳; 李绍彬; 李朝晖; 蒋伟 |
| 地址 | 北京市朝阳区定福庄东街一号 |
专利主权项内容
1.一种支持文本查询的神经辐射场重建方法,其特征在于,包括:步骤S1、获取相机拍摄的多视图图像并估计相机位姿;步骤S2、根据多视图图像,得到多视图图像的极线点特征;步骤S3、根据极线点特征,得到跨视图聚合特征;步骤S4、根据跨视图聚合特征,进行渲染集成;步骤S5、根据跨视图聚合特征和渲染集成结果训练语义嵌入场模型;步骤S6、根据语义嵌入场模型合成场景新视图,得到注意力图渲染场景深度图;步骤S7、根据语义嵌入场模型,渲染文本查询相关性图。