← 返回列表
基于动作识别和序列推理的动作预测方法
申请人信息
- 申请人:天津大学
- 申请人地址:300072 天津市南开区卫津路92号
- 发明人: 天津大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于动作识别和序列推理的动作预测方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311833547.5 |
| 申请日 | 2023/12/28 |
| 公告号 | CN117558067A |
| 公开日 | 2024/2/13 |
| IPC主分类号 | G06V40/20 |
| 权利人 | 天津大学 |
| 发明人 | 刘鑫; 郝超; 岳焕景; 杨敬钰 |
| 地址 | 天津市津南区海河教育园雅观路135号天津大学北洋园校区 |
摘要文本
本发明公开了基于动作识别和序列推理的动作预测方法，步骤：对原始长视频数据预处理，得动作标签序列；将视频片段序列中的视频片段分别送入动作识别网络，提取代表视频片段的动作特征，得动作特征序列；将动作特征序列送入线性分类网络，得动作识别损失函数；将动作特征序列送入因果网络，得预测的下一个动作特征序列，再将下一个动作特征序列送入线性分类网络，得动作预测损失函数；将动作识别损失函数和动作预测损失函数相加，得网络总损失函数，优化网络参数。本发明使用动作识别损失和预测损失联合训练网络，降低了训练难度；用AIM模型和GPT2模型组成ARR主干网络，通过训练模型解决了网络性能较差和泛化性不足的问题。。更多数据：搜索专利查询网来源：
专利主权项内容
1.基于动作识别和序列推理的动作预测方法，其特征在于，包括以下步骤：S1、对原始长视频数据进行预处理，得到动作标签序列；S2、将视频片段序列中的每个视频片段分别送入动作识别网络，提取代表各个视频片段的动作特征，得到动作特征序列；S3、将动作特征序列送入线性分类网络，得到每个视频片段的动作分类结果，使用交叉熵损失函数来进行监督动作识别任务，使用动作标签序列进行监督，得到动作识别损失函数；S4、将动作特征序列送入因果网络，根据动作特征序列预测下一个动作，得到预测的下一个动作特征序列；将下一个动作特征序列送入线性分类网络，使用交叉熵损失函数来进行监督动作预测任务，将下一个动作特征用于分类，使用下一个动作标签序列进行监督，得到动作预测损失函数；S5、将得到的动作识别损失和动作预测损失相加，得到网络总损失函数，使用所得总损失函数来计算梯度，优化网络参数。。来源：马 克 团 队