一种基于远、近景多传感器一体融合的交通路侧感知系统及方法

专利主权项内容

1.一种基于远、近景多传感器一体融合的交通路侧感知方法，其特征在于：包括：1)布设远、近景多传感器融合一体机，多传感器由远、近景摄像头与毫米波雷达组成，对远、近景摄像头与毫米波雷达进行时空联合标定；通过几何模型确定路侧传感器布设位置，具体包括：计算道路宽度，远、近景多传感器融合一体机横向感知范围大于道路宽度；确定路侧传感器的工作高度，包括近景摄像头高度，远景摄像头高度以及毫米波雷达高度；确定远景摄像头与近景摄像头的俯仰角；根据摄像头坐标转换推导求解最优有效感知区域，有效感知区域最近点和最远点由毫米波雷达的探测范围确定，近景摄像头与远景摄像头安装高度已知，分别为H和H，求解近景摄像头与远景摄像头最佳的俯仰角以及焦距设置；方法如下：12利用平面几何得：其中S为近景镜头最近边界与近景镜头间的水平距离，与β分别为近景镜头视角最近视线和最远视线与水平面所成夹角，H为近景摄像头安装高度，S为近景镜头感光区域大小，Z为近景镜头最远边界A点在近景镜头坐标系中的距离；111n1A下面计算远景与近景包围形成的有效感知区域S，根据几何关系可得：2S＝H(tan(θ+α)+tan(α-θ))212211其中X为A点在远景镜头坐标系中的距离，β为远景镜头视角最远视线与水平面所成夹角，S为远景镜头感知区域大小，为远景镜头视角最近视线与水平面所成夹角，θ, θ分别为近景镜头和远景镜头的俯仰角，α, α分别为近景和远景镜头视角角度的二分之一；2A2f1212视线远景镜头和近景镜头的感知区域相邻或者部分重合，满足以下条件：实现两镜头成像大小一致，根据焦距/距离＝图/物，即：变换得：F/F＝cosα/cosα1212其中F, F分别为近景和远景镜头的焦距；tanα＝L/2F；L为感光片已知参数；1211在最优感知区域的布设条件下，分别对多传感器的ROI感兴趣区域进行匹配，实现目标不同特征在同一感兴趣区域的展示，具体包括：设雷达共有W个感兴趣区域，视频共有M个感兴趣区域，引入相关参数对ROI的关联性进行度量；式中，Ri表示第i块雷达感兴趣区域，S表示第i块雷达感兴趣区域的面积，Vj表示第j块视频感兴趣区域，S表示第j块视频感兴趣区域的面积，有1≤i≤W, 1≤j≤M；ΔS表示第i块雷达感兴趣区域和第j块视频感兴趣区域重叠部分的面积，P和P分别代表了ΔS占S和S的百分比；RiVjRi, VjRi, VjVj, RiRi, VjRiVj设定阈值T对雷达和视频重叠的感兴趣区域进行考察，若同时满足下式，则将这两块区域匹配在一起；matched匹配后的区域包含图像上的特征，以及目标的空间位置与运动信息；2)采集交通流参数和交通路侧视频图像，对远、近景摄像头感知区域进行拼接；3)对视频图像进行处理并提取目标静态特征与动态特征；4)对毫米波雷达感知区域内目标进行探测，提取动态特征；5)对视频与毫米波雷达感知区域内目标特征进行匹配与数据融合；6)将感知目标静态与动态特征进行可视化展示。