← 返回列表
一种多尺度特征融合和边界信息注意的视频显著目标检测方法
摘要文本
本发明公开了一种多尺度特征融合和边界信息注意的视频显著目标检测方法。所述方法包括如下步骤：获取视频显著目标检测数据集及对应光流图，输入到训练好的视频显著目标检测网络中；采用双流主干特征编码器，获取多层级特征；利用全局引导多尺度融合模块，以获取多尺度时空特征；通过跨模态边界注意模块，改善多尺度时空特征的边界检测效果；采用场景感知融合模块，以促进时空特征融合；将融合后的特征不断解码，恢复至原始视频帧尺寸，以获取最终的显著性图。所述方法探索多尺度时空特征融合和边界注意方法，提高了视频显著目标检测的精度，改善了边界检测效果。
申请人信息
- 申请人:石家庄铁道大学
- 申请人地址:050043 河北省石家庄市长安区北二环东路17号
- 发明人: 石家庄铁道大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种多尺度特征融合和边界信息注意的视频显著目标检测方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311635449.0 |
| 申请日 | 2023/12/1 |
| 公告号 | CN117557782A |
| 公开日 | 2024/2/13 |
| IPC主分类号 | G06V10/25 |
| 权利人 | 石家庄铁道大学 |
| 发明人 | 张云佐; 王双双; 刘婷; 甄嘉闻; 杨月辉; 于璞泽 |
| 地址 | 河北省石家庄市北二环东路17号 |
专利主权项内容
1.一种多尺度特征融合和边界信息注意的视频显著目标检测方法，其特征在于包括以下步骤：S1：获取视频显著目标检测数据集，并输入到光流提取网络RAFT中获取对应的光流图；S2：将视频帧和对应光流图输入训练好的视频显著目标检测网络中；S3：采用双流主干特征编码器，从视频帧和光流图中获取多层级编码器特征，分别表示为和/>其中S表示空间特征，T表示时间特征，i表示特征的层级；S4：利用全局引导多尺度融合模块，对提取到的不同尺寸的空间和时间特征进行全局定位信息增强和多尺度特征融合；S5：通过跨模态边界注意模块，改善多尺度时空特征的边界检测效果；S6：将改善边界效果后的时空特征传入到场景感知融合模块中，以促进时空特征融合，生成显著目标检测需要的上下文信息；S7：将融合后的特征不断进行上采样和拼接操作得到S，最终将解码器最后一层输出S恢复至原始视频帧尺寸，作为当前帧的最终显著性输出结果。i1