一种基于深度学习的鱼眼镜头下包裹检测方法

专利主权项内容

1.一种基于深度学习的鱼眼镜头下包裹检测方法，其特征在于具体包括如下步骤：S1、包裹数据集收集：S11、通过鱼眼摄像头直接拍摄收集包裹图片，在多种场景、多种光线条件下使用多种包裹进行随机摆放抓拍图片，并收集部分不带包裹的图片作为负样本，通过labelImg标注工具手动标注，标注出图片中包裹的位置和类型得到标签，每张图片对应一个同名txt标注文件；S12、在互联网上收集包裹图片，通过下载开源数据集或者从网页上爬取，收集正常无鱼眼畸变的图片，然后将包裹图片中包裹目标抠取下来贴到背景图片上去，背景图片来自开源数据集COCO数据集中部分图片，之后对于这些贴图后的图片进行鱼眼效果变换生成带鱼眼畸变的图片，同时生成对应的txt标注文件；S2、包裹检测模型训练：S21、包裹检测模型训练主体选择yolov5框架，并对原有的网络进行修改，将原有yolov5s网络深度改为原来的两倍，网络宽度改为原来的一半，同时加入repvgg模块，增加0.2概率的灰度化的图像增强操作，将数据集8 : 1划分为训练集和验证集进行训练，使用服务器GPU训练300个epoch；S22、模型训练好后使用大量图片或者视频进行测试，使用验证集图片或者实际使用中鱼眼镜头摄像机拍摄的图片或者视频，找出其中出现的一些误报或者检测不到的情况，并将这些图片或者视频保存下来并人工标注好再放入数据集中重新训练，如此反复迭代，不断提升模型检测效果；S3、包裹检测设备端应用：S31、将步骤S2中训练好的包裹检测模型训练通过转换工具转换为能在设备端运行的板端模型；S32、板端模型从视频流中获取原始yuv格式图片数据，将图片转换和缩放为板端模型所需格式和尺寸；S33、使用板端AI运算模块进行板端模型推演检测得到输出特征，通过后处理得到检测结果包括包裹的置信度，中心点位置和宽高，使用设置好的置信度阈值和区域规则进行过滤筛选，只留下包裹置信度大于置信度阈值和包裹中心点位置在设置区域中的结果；S34、根据最终结果以及当前包裹状态判断是否为包裹送达或者包裹遗失，如果检测到了包裹，先将未检测到包裹的时间置0，再判断当前包裹状态是否为0即之前包裹不存在则发出包裹送达告警，同时将包裹状态置1，如果没有检测到包裹，先将未检测到包裹的时间累积，判断是否超过一定时间阈值，再判断当前包裹状态是否为1即之前包裹存在则发出包裹丢失告警，同时将包裹状态置0。 （来源 马克数据网）