← 返回列表
一种基于特定信息的高效跨模态人群计数方法
申请人信息
- 申请人:南通大学
- 申请人地址:226000 江苏省南通市崇川区永福路79号1幢南通大学技术转移研究院
- 发明人: 南通大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于特定信息的高效跨模态人群计数方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311331334.2 |
| 申请日 | 2023/10/13 |
| 公告号 | CN117456449A |
| 公开日 | 2024/1/26 |
| IPC主分类号 | G06V20/52 |
| 权利人 | 南通大学 |
| 发明人 | 赵颖钏; 杨杨; 王进 |
| 地址 | 江苏省南通市崇川区永福路79号1幢南通大学技术转移研究院 |
摘要文本
本发明提供了一种基于特定信息的高效跨模态人群计数方法，属于深度学习和计算机视觉技术领域。解决了低照度环境下人群计数精度不高，误差较大的技术问题。其技术方案为：使用热红外图像作为RGB图像信息的补充，通过探索模态共享信息和特定信息的表达，充分结合两种模态的互补特征和各自的特有特征，有效提高在低照度环境下人群计数的精度。本发明的有益效果为：本发明的方法用于学习和融合两种模态特征的表示，以增强对光照不足问题的鲁棒性，从而提高人群计数的准确率。
专利主权项内容
1.一种基于特定信息的高效跨模态人群计数方法，其特征在于，包括以下步骤：步骤1：对数据集进行预处理，将数据集中的训练图像按照要求切割成相同大小，并且将切割后的区域作为输入，进入步骤2；步骤2：每次从步骤2中的训练数据中选取N对人群图像，每对RGB图像和热成像分别进入相同的五层编码器进行特征提取，以便获得多级特征表示，进入步骤3；步骤3：对步骤2中提取的每层特征进行共享信息融合，进入步骤4；步骤4：将步骤2和步骤3中获得的特异性信息和共享信息分别进入特定的和共享的解码器子网，以生成显著性预测图，进入步骤5；步骤5：将步骤4中的显著性预测图与密度图进行对比，用贝叶斯损失来衡量预测值与真实值之间的差距，清空优化器的梯度缓存，进行反向传播并更新模型参数，进入步骤6；步骤6：检查训练数据集中所有数据是否都已经完成训练步骤，若没有则返回步骤2，否则进入步骤7；步骤7：当轮次大于20小于最终轮次，且为5的倍数时进入测试流程，如果等于最终轮次进入步骤8，否则返回步骤2；步骤8：输出最优模型，结束。