基于可变形锚框的中小学课堂行为检测方法及装置
摘要文本
本发明公开了基于可变形锚框的中小学课堂行为检测方法及装置。对原始课堂监控图像进行预处理，对图像进行标注和划分为课堂行为数据集SData。然后使用YOLOv8的骨干网络对数据集SData进行提取特征，输出多尺度特征图。将80×80×256的特征图输入可变形锚框模块CAF，输出可变形锚框的参数。40×40×512的特征图经上下文信息模块提取语义特征，并与原始特征一起输入YOLOv8颈部进行特征融合，生成矩形框。在后处理阶段，对预测框应用偏移量调整坐标，生成最终预测框。与现有技术相比，本发明结合可变形锚框和语义信息提取，增强了模型对复杂课堂场景的适应性，使行为检测更加准确高效。
申请人信息
- 申请人:淮阴工学院; 张雅琼; 李怡萱
- 申请人地址:223400 江苏省淮安市涟水县海安路10号安东大厦8楼
- 发明人: 淮阴工学院; 张雅琼; 李怡萱
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于可变形锚框的中小学课堂行为检测方法及装置 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311292709.9 |
| 申请日 | 2023/10/7 |
| 公告号 | CN117333799A |
| 公开日 | 2024/1/2 |
| IPC主分类号 | G06V20/40 |
| 权利人 | 淮阴工学院; 张雅琼; 李怡萱 |
| 发明人 | 金圣华; 张曼; 张雅琼; 李怡萱; 李翔 |
| 地址 | 江苏省淮安市涟水县海安路10号安东大厦8楼; ; 江西省赣州市章贡区红旗大道47号东单元801室 |
专利主权项内容
1.一种基于可变形锚框的中小学课堂行为检测方法，其特征在于，包括如下步骤：步骤1：获取不同课堂场景下的监控视频，并对视频图像中的学生课堂行为进行半自动标注，构建与课堂场景相关的课堂行为数据集；步骤2：使用YOLOv8骨干网络提取特征，其中有80×80×256、40×40×512、20×20×1024三个尺度的特征图；将特征尺度为80×80×256的特征图作为输入，输入可变形锚框模块CAF，输出可变形锚框的参数，生成偏移量结果；所述可变形锚框模块CAF包括输入适配层、3组可变形卷积层、1个池化层、1个回归分支以及最终输出层；步骤3：使用YOLOv8骨干网络提取特征，将步骤2中得到的特征尺寸为40×40×512的特征图作为输入，输入上下文信息模块CTB，输出语义特征图；所述上下文模块CTB包含通道调整、多尺度上下文、特征融合和注意力机制4个功能模块；步骤4：将步骤3中语义特征图与原始特征图一起作为输入，输入YOLOv8颈部进行特征融合，然后传给检测头生成预测，生成矩形框结果；步骤5：在后处理阶段，对最大尺度预测框应用步骤2的偏移量调整坐标。 来源：百度马 克 数据网