骨骼关键点知识增强的地铁乘客异常行为视频描述方法
申请人信息
- 申请人:云南大学
- 申请人地址:650031 云南省昆明市翠湖北路2号
- 发明人: 云南大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 骨骼关键点知识增强的地铁乘客异常行为视频描述方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311739530.3 |
| 申请日 | 2023/12/18 |
| 公告号 | CN117557945A |
| 公开日 | 2024/2/13 |
| IPC主分类号 | G06V20/40 |
| 权利人 | 云南大学 |
| 发明人 | 谷金晶 |
| 地址 | 云南省昆明市翠湖北路2号 |
摘要文本
云南大学获取“一种透气窗帘布”专利技术，本发明提供了一种骨骼关键点知识增强的地铁乘客异常行为视频描述方法，属于视频描述领域。该方法包括：异常行为视频分割与乘客骨骼关节点特征提取、地铁乘客异常行为知识图谱与骨骼关键点知识图谱构建、骨骼关键点知识增强的地铁乘客异常行为视频描述三个步骤。首先，依据乘客时序行为分割异常视频并提取乘客骨骼关节点时空特征。然后，依次构建地铁乘客异常行为和骨骼关键点知识图谱，表征各类异常行为的骨骼关键点间动态语义关联。最后，结合异常行为甄别模型生成乘客异常行为视频描述。与现有技术相比，本发明不仅能够提高地铁乘客异常行为描述的准确度，还能生成可直接应用于地铁日常运营管理决策的自然语言描述，助推视频描述技术落地应用。
专利主权项内容
1.一种骨骼关键点知识增强的地铁乘客异常行为视频描述方法，其特征在于，所述骨骼关键点知识增强的地铁乘客异常行为视频描述方法包括：获取地铁异常行为视频；对所述地铁异常行为视频进行分割，得到多个异常行为视频片段，并提取各异常行为视频片段中各乘客的骨骼关节点；基于地铁领域知识构建异常行为知识图谱；所述异常行为知识图谱中包括多个异常行为类别及多个骨骼关节点，每个异常行为类别通过多个骨骼关节点表征，且每个骨骼关节点包括多个属性特征；根据各异常行为视频片段中各乘客的骨骼关节点的各属性特征，从各异常行为视频片段中筛选出各乘客的骨骼关键点，并确定各异常行为视频片段中各乘客的骨骼关键点视觉特征向量；基于所述异常行为知识图谱构建骨骼关键点知识图谱；所述骨骼关键点知识图谱中包括多个异常行为类别、各乘客的骨骼关键点及骨骼关键点知识向量；所述骨骼关键点知识向量包括各骨骼关键点的多个属性特征；针对任一异常行为视频片段，根据所述异常行为视频片段中各乘客的骨骼关键点视觉特征向量及骨骼关键点知识向量，采用时空图卷积神经网络确定所述异常行为视频片段的异常行为视觉表征；根据所述异常行为视频片段中各乘客的骨骼关键点视觉特征向量及骨骼关键点知识向量，采用跨模态注意力知识增强模型，确定所述异常行为视频片段中各时间步的知识感知上下文向量；根据所述异常行为视频片段的异常行为视觉表征及所述异常行为视频片段中各时间步的知识感知上下文向量，采用异常行为视频描述生成模型，生成所述异常行为视频片段的描述语句。