← 返回列表

一种支持文本查询的神经辐射场重建方法和装置

申请号: CN202410016964.9
申请人: 中国传媒大学
申请日期: 2024/1/5

摘要文本

本发明提供一种支持文本查询的神经辐射场重建方法和装置,包括:步骤S1、获取相机拍摄的多视图图像并估计相机位姿;步骤S2、根据多视图图像,得到多视图图像的极线点特征;步骤S3、根据极线点特征,得到跨视图聚合特征;步骤S4、根据跨视图聚合特征,进行渲染集成;步骤S5、根据跨视图聚合特征和渲染集成结果训练语义嵌入场模型;步骤S6、根据语义嵌入场模型合成场景新视图,得到注意力图渲染场景深度图;步骤S7、根据语义嵌入场模型,渲染文本查询相关性图。采用本发明的技术方案,能够交互式地渲染查询对象的具有多视图一致的密集相关性图,另外避免使用经典可微分体渲染管道。

专利详细信息

项目 内容
专利名称 一种支持文本查询的神经辐射场重建方法和装置
专利类型 发明申请
申请号 CN202410016964.9
申请日 2024/1/5
公告号 CN117808957A
公开日 2024/4/2
IPC主分类号 G06T15/55
权利人 中国传媒大学
发明人 赵艳明; 王淳; 李绍彬; 李朝晖; 蒋伟
地址 北京市朝阳区定福庄东街一号

专利主权项内容

1.一种支持文本查询的神经辐射场重建方法,其特征在于,包括:步骤S1、获取相机拍摄的多视图图像并估计相机位姿;步骤S2、根据多视图图像,得到多视图图像的极线点特征;步骤S3、根据极线点特征,得到跨视图聚合特征;步骤S4、根据跨视图聚合特征,进行渲染集成;步骤S5、根据跨视图聚合特征和渲染集成结果训练语义嵌入场模型;步骤S6、根据语义嵌入场模型合成场景新视图,得到注意力图渲染场景深度图;步骤S7、根据语义嵌入场模型,渲染文本查询相关性图。