← 返回列表
一种家庭同胞互动过程中的协作状态分析方法及其系统
摘要文本
本发明公开了一种家庭同胞互动过程中的协作状态分析方法,本发明通过基于关键点特征的位置变化信息、位置变化速度信息和位置变化加速度信息将视频片段的每个帧的关键点特征进行降维结合得到关键点特征在视频片段内的位置变化,位置变化的速度和加速度信息,从而能够实时识别两个孩子的互动协作状态。基于识别的两个孩子的互动协作状态通过训练好的XGBoost分类模型得到多维度视频片段类别编码序列,然后通过大语言模型得到家庭同胞互动过程中的协作状态分析报告。本发明还公开了一种家庭同胞互动过程中的协作状态分析系统。 来源:马 克 团 队
申请人信息
- 申请人:浙江大学
- 申请人地址:310058 浙江省杭州市西湖区余杭塘路866号
- 发明人: 浙江大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种家庭同胞互动过程中的协作状态分析方法及其系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311646320.X |
| 申请日 | 2023/12/4 |
| 公告号 | CN117636219A |
| 公开日 | 2024/3/1 |
| IPC主分类号 | G06V20/40 |
| 权利人 | 浙江大学 |
| 发明人 | 孙凌云; 劳天宇; 刘宣慧; 郗宇凡; 尤伟涛; 陈培 |
| 地址 | 浙江省杭州市西湖区余杭塘路866号 |
专利主权项内容
1.一种家庭同胞互动过程中的协作状态分析方法,其特征在于,包括:获得家庭同胞互动视频,将家庭同胞互动视频分成多个视频片段,获得每个视频片段的每个帧的关键点特征,将在视频片段内的不同帧的同一关键点特征进行结合得到视频片段的所述关键点特征的位置变化信息、位置变化速度信息和位置变化加速度信息,将关键点特征的位置变化信息、位置变化速度信息和位置变化加速度信息进行拼接得到所述关键点特征的总体特征,基于视频片段内的多个关键点特征的总体特征构建视频片段的总体特征;基于标注标签的每个同胞互动视频片段的总体特征构建训练集,通过训练集采用交叉损失函数训练XGBoost分类模型得到同胞协作状态分类模型,依次将每个视频片段的总体特征输入同胞协作状态分类模型得到多维度视频片段类别编码序列;基于多维度视频片段类别编码序列构建提示词,将提示词输入大语言模型得到家庭同胞互动过程中的协作状态分析结果。