← 返回列表

基于三维场景渲染且视点无关的多路视频融合方法及系统

申请号: CN202410043857.5
申请人: 北京睿呈时代信息科技有限公司
申请日期: 2024/1/12

摘要文本

本申请公开了一种基于三维场景渲染且视点无关的多路视频融合方法及系统,包括:根据输入的三维模型数据源进行三维模型渲染;以及对接入的多路视频流进行解码,以获取多路视频流同一时间点的帧画面;基于各路摄像头相关信息,构建各路摄像头的透视投影视锥体,并计算所述透视投影视锥体的视图矩阵和投影矩阵;根据各路摄像头和投影视锥体平面各个像素构建的射线和场景相交的位置,逐像素构建各路摄像头的深度图信息和法线图信息;基于构建的深度图信息,将渲染的三维模型与多路视频流同一时间点的帧画面进行融合。本申请能够解决不同视角下视频帧画面融合效果形变的问题。

专利详细信息

项目 内容
专利名称 基于三维场景渲染且视点无关的多路视频融合方法及系统
专利类型 发明申请
申请号 CN202410043857.5
申请日 2024/1/12
公告号 CN117560578A
公开日 2024/2/13
IPC主分类号 H04N23/95
权利人 北京睿呈时代信息科技有限公司
发明人 陈国银; 彭爱峰; 吕科
地址 北京市朝阳区驼房营南路8号新华科技大厦A座801

专利主权项内容

1.一种基于三维场景渲染且视点无关的多路视频融合方法,其特征在于,包括如下步骤:根据输入的三维模型数据源进行三维模型渲染;以及对接入的多路视频流进行解码,以获取多路视频流同一时间点的帧画面;基于各路摄像头相关信息,构建各路摄像头的透视投影视锥体;基于各路摄像头和投影视锥体平面各个像素构建的射线和场景相交的位置,逐像素构建各路摄像头的深度图信息和法线图信息,其中所述深度图信息包括各路摄像头的位置和其投影视锥体平面各个像素构建的射线和场景相交的点距离和位置,所述法线图信息包括每个像素点法线信息;基于构建的深度图信息和法线图信息,将渲染的三维模型与多路视频流同一时间点的帧画面进行融合。