一种亚像素级关键点检测方法及装置
摘要文本
本发明公开了一种亚像素级关键点检测方法及装置，涉及计算机视觉和深度学习技术领域，方法包括：将待处理图像输入至偏置热力图网络，得到所述待处理图像的单通道热力图和偏置向量图；确定所述单通道热力图中各个亮斑区域的关键像素点，将所述关键像素点的位置坐标与所述偏置向量图中对应的亚像素偏置向量相加，得到热力图的亚像素级关键点的位置信息。本发明采用特征维度为1的热力图实现对未知数量的关键点的定位，并基于偏置量对热力图定位得到的关键点进行修正，实现了亚像素级的关键点精确定位。
申请人信息
- 申请人:苏州铸正机器人有限公司
- 申请人地址:215000 江苏省苏州市苏州高新区富春江路188号7幢401室
- 发明人: 苏州铸正机器人有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种亚像素级关键点检测方法及装置 |
| 专利类型 | 发明授权 |
| 申请号 | CN202311665963.9 |
| 申请日 | 2023/12/7 |
| 公告号 | CN117437433B |
| 公开日 | 2024/3/19 |
| IPC主分类号 | G06V10/46 |
| 权利人 | 苏州铸正机器人有限公司 |
| 发明人 | 章永宏; 季旭全; 刘洪升; 宋雄康; 耿宝多; 毛宁波; 张坚 |
| 地址 | 江苏省苏州市苏州高新区富春江路188号7幢401室 |
专利主权项内容
1.一种亚像素级关键点检测方法，其特征在于，包括如下步骤：将待处理图像输入至偏置热力图网络，得到所述待处理图像的单通道热力图和偏置向量图；确定所述单通道热力图中多个亮斑区域的关键像素点，将所述关键像素点的位置坐标与所述偏置向量图中对应的亚像素偏置向量相加，得到热力图的亚像素级关键点的位置信息；所述偏置热力图网络包括依次连接的输入层、CBR模块、Pool最大值池化模块、第一CBBL模块、第二CBBL模块、第三CBBL模块、第四CBBL模块、第一CTBR模块、第二CTBR模块、第三CTBR模块、第四CTBR模块、第五CTBR模块和生成模块；所述生成模块包括热力图生成模块和偏置向量图生成模块；所述热力图生成模块的输入端连接所述第五CTBR模块的输出端，所述热力图生成模块包括依次连接的CBR模块、卷积模块和Sigmoid激活函数模块，Sigmoid激活函数模块输出热力图；所述偏置向量图生成模块的输入端连接第五CTBR模块的输出端，所述偏置向量图生成模块包括依次连接的CBR模块和卷积模块，第二卷积模块输出偏置向量图；上述全部的CBR模块均包括依次连接的CB模块与ReLU激活函数模块；所述第一CBBL模块、第二CBBL模块、第三CBBL模块和第四CBBL模块均包括依次连接的CB模块和N个BNE模块，所述第一CBBL模块、第二CBBL模块、第三CBBL模块和第四CBBL模块的输出张量尺寸逐渐缩小；上述全部的CB模块均包括依次连接的卷积模块和BN模块；所述第一CTBR模块、第二CTBR模块、第三CTBR模块、第四CTBR模块和第五CTBR模块均包括依次连接的转置卷积模块、BN模块和ReLU激活函数模块，所述第一CTBR模块、第二CTBR模块、第三CTBR模块、第四CTBR模块和第五CTBR模块的输出张量尺寸逐渐变大；所述偏置热力图网络输出张量的尺寸和所述待处理图像的输入张量的尺寸相同；在预训练的过程中，采用FocalLoss损失函数和MseLoss损失函数的加权和来监督学习热力图的生成；其中，所述确定所述单通道热力图中多个亮斑区域的关键像素点的步骤，包括：在热力图的每个亮斑区域内查找亮度最高的像素点，将亮度最高的像素点作为该亮斑区域的候选关键像素点；判断候选关键像素点的数量，若亮斑区域内的候选关键像素点唯一，则将唯一的候选关键像素点作为该亮斑区域的关键像素点；若亮斑区域内的候选关键像素点不唯一且相邻，则将候选关键像素点的坐标均值作为该亮斑区域的关键像素点的位置。