基于超图文本对比的水下动作识别方法、系统及存储介质
摘要文本
本发明属于水下动作识别技术领域，本发明公开了基于超图文本对比的水下动作识别方法、系统及存储介质，包括以下步骤：获取水下动作基准数据集；基于姿态估计法提取水下各种动作指令下的水下人体骨骼数据；对基本人体骨骼进行分区设计，建立关于骨骼关节点的超边，进而获得超图；将所述超图和所述水下人体骨骼数据进行结合，输出水下骨骼的超边特征；基于Transformer模型，输出骨骼特征，将所述骨骼特征和所述文本模型中的文本特征进行对比学习，最终输出精确的潜水员动作指令识别结果。本发明，将超图与输入特征结合推到超边特征，采用文本编码器生成文本特征，实现骨骼‑文本的对比学习，有效地利用多模态信息进一步提升潜水员动作识别的效能。
申请人信息
- 申请人:吉林大学
- 申请人地址:130012 吉林省长春市前进大街2699号
- 发明人: 吉林大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于超图文本对比的水下动作识别方法、系统及存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410130129.8 |
| 申请日 | 2024/1/31 |
| 公告号 | CN117690190A |
| 公开日 | 2024/3/12 |
| IPC主分类号 | G06V40/20 |
| 权利人 | 吉林大学 |
| 发明人 | 姜宇; 魏枫林; 王凯; 齐红; 赵明浩; 张永霁; 夏雨桐 |
| 地址 | 吉林省长春市前进大街2699号 |
专利主权项内容
1.基于超图文本对比的水下动作识别方法，其特征在于，包括以下步骤：获取潜水员水下动作彩色图像，作为水下动作基准数据集；基于姿态估计法对所述水下动作基准数据集进行处理，提取水下各种动作指令下的水下人体骨骼数据；对基本人体骨骼基于人体动力学进行分区设计，建立关于骨骼关节点的超边，进而获得超图；将所述超图和所述水下人体骨骼数据进行结合，输出水下骨骼的超边特征；预设计超图自注意力机制模块和多尺度时间卷积模块，基于包含所述超图自注意力机制模块和所述多尺度时间卷积模块的Transformer模型，输出骨骼特征，其中所述Transformer模型以所述超边特征为输入；基于VIT-B模型加载文本模型，并将所述骨骼特征和所述文本模型中的文本特征进行对比学习，最终输出精确的潜水员动作指令识别结果；其中，所得人体骨骼数据中关节点共有25个，骨骼分区表达式为：
；所述骨骼关节点的超边表达式为：
；其中，表示关节点v不属于超边e，/>表示该关节点v属于该超边，由此获得超图/>；其中，R表示一个25行，5列的矩阵；所述超边特征表达式为：
；其中，是超边逆度矩阵；/>是输入特征；/>是权重矩阵；/>是推导出的所述超边特征。