一种多任务道路场景感知方法

专利主权项内容

1.一种多任务道路场景感知方法，其包括以下步骤：S1：在车辆上安置摄像头采集车辆前方道路场景图像，建立包含车辆检测、车道线分割和允许行驶区域分割标注的训练数据集；S2：构建多任务道路场景感知模型；S3：设计多任务损失函数；S4：使用所述训练数据集对所述多任务道路场景感知模型进行训练，得到训练好的所述多任务道路场景感知模型；S5：基于训练好的所述多任务道路场景感知模型进行道路场景感知检测，并且将模型结果进行可视化，查看车辆检测、车道线分割和允许行驶区域分割的效果；其特征在于：所述多任务道路场景感知模型基于ResNet50进行构建；所述多任务道路场景感知模型包括：特征提取主干网络、特征融合网络、车辆检测分支、车道线分割分支和允许行驶区域分割分支；摄像头采集的前方道路场景图像输入到所述特征提取主干网络中进行提取多尺度的图像特征后，利用所述特征融合网络融合提取的多尺度特征，最后，将融合后的特征分别输到所述车辆检测分支、所述车道线分割分支和所述允许行驶区域分割分支；为所述车辆检测分支、所述车道线分割分支和所述允许行驶区域分割分支都采用多尺度损失约束构建损失函数；总损失函数通过自适应学习的方式调节多个任务损失的权重系数；总损失函数L包括：车辆检测任务损失、车道线分割任务损失和允许行驶区域分割任务损失；Total
，式中，N为分类任务和回归任务的总任务数，task为任务编号；表示任务task的损失，具体包括车辆检测任务损失中的置信度损失、分类损失和定位损失，车道线分割任务损失中的加权二值交叉熵损失和交并比损失，以及允许行驶区域分割任务损失中的加权二值交叉熵损失和交并比损失；/>用于区分任务task的类型，当任务为回归任务时，为2，当任务为分类任务则/>为1；/>表示任务task要学习的损失权重参数；为任务难度因子，用以平衡非困难任务和困难任务；taskiiii当任务为车辆检测任务时，为车辆检测损失函数L：vehicle
，式中，λ、λ和λ分别表示置信度损失、分类损失和定位损失的权衡因子，L、L和L分别表示物体置信度损失、分类损失和定位损失；objclsregobjclsreg当任务为车道线分割任务时，为车道线分割损失函数L：lane
，式中，N表示多尺度分割约束的特征层数量，lvl表示特征层编号，表示特征图的车道线分割损失的平衡因子；L为加权二元交叉熵损失，L为交并比损失；lvliwbceiou当任务为允许行驶区域分割任务时，为允许行驶区域分割损失函数L：drive
，式中，允许行驶区域分割任务的多尺度分割约束的层数与车道线分割任务相同，表示特征图/>的允许行驶区域分割损失的平衡因子；L为加权二元交叉熵损失，L为交并比损失。wbceiou