一种用于无人机高空悬停拍摄场景的视频稳像方法
申请人信息
- 申请人:同济大学
- 申请人地址:200082 上海市杨浦区四平路1239号
- 发明人: 同济大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种用于无人机高空悬停拍摄场景的视频稳像方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311597274.9 |
| 申请日 | 2023/11/28 |
| 公告号 | CN117575966A |
| 公开日 | 2024/2/20 |
| IPC主分类号 | G06T5/80 |
| 权利人 | 同济大学 |
| 发明人 | 杨轸; 韦克锦; 谢世坤 |
| 地址 | 上海市杨浦区四平路1239号 |
摘要文本
本发明公开了一种用于无人机高空悬停拍摄场景的视频稳像方法,主要是首先将视频逐帧分离并进行灰度化预处理,以第一帧为模板帧,在模板帧手动点选关注特征区域,检测得到各区域内的角点作为锚点,各锚点坐标关系组成模板帧空间坐标系,估计原始视频各帧与模板帧之间的仿射变换矩阵,并对丢失锚点对进行补偿。根据以上信息,构建以用来稳定每一帧图像的仿射变换矩阵为待优化参数的稳健估计模型,基于稳健估计的思想对各锚点对进行选权迭代。然后求解模型,获得各视频帧满足均方根误差阈值的仿射变换矩阵。最后对原视频逐帧变换,并写入新视频。这种方法可以消除无人机自身运动影响,实现理想的视频稳像效果。
专利主权项内容
1.一种用于无人机高空悬停拍摄场景的视频稳像方法,其特征在于,包括以下步骤:S1、输入视频,对视频帧进行预处理,将第一帧作为模板帧并确定锚点;S2、遍历视频帧,跟踪模板帧图像的锚点,得到模板帧与当前帧一一对应的锚点对,删除其中光流法跟踪失败与因物体遮挡而特征丢失的失效点,得到跟踪成功的锚点对;S3、对失效锚点对进行补偿,其中,对于基于步骤S2跟踪成功的锚点对,运用加权最小二乘法计算模板帧到当前帧的仿射变换矩阵,在计算过程中运用稳健估计方法对各锚点对赋予权重,进行选权迭代后满到更精确的变换矩阵,并删除均方根误差大于三倍中位数的锚点对;对于被删除的锚点,基于变换矩阵并使用模板帧对应锚点坐标计算当前帧坐标,以计算坐标为输入,调用Harris亚像素级角点检测方法,在设定区域内检测当前帧丢失的锚点坐标,依次完成丢失锚点对补偿,得到稳定数量的12对锚点对;S4、将步骤S3中锚点对作为输入,运用稳健估计优化后的加权最小二乘法计算变换矩阵,获得各视频帧满足均方根误差阈值的变换矩阵,将其进行逆仿射变换,得到当前帧到模板帧的仿射变换矩阵;S5、将步骤S4中仿射变换矩阵作为输入,运用warpAffine方法对当前视频帧图像进行仿射变换,将图像空间坐标对齐到模板帧空间坐标,完成视频稳像处理,遍历所有稳像处理后的视频帧,输出稳像后的视频。