← 返回列表
视频特征提取方法及装置、存储介质及电子设备
摘要文本
本发明提供一种视频特征提取方法及装置、存储介质及电子设备，包括：基于特征提取信号确定至少一个视频，获取视频的音频数据和各个视频帧；调用多模态视频特征提取模型对音频数据和各个视频帧进行处理，输出视频的视频特征数据；视频特征数据包括视频内容特征和自然语言特征处理结果，视频内容特征包含视频的各个视频帧的特征权重以及时序位置编码。本发明使用结合多个应用任务进行训练得到的多模态视频特征提取模型提取特征，提取的视频特征数据适用于使用应用任务构建的各种应用场景，提取的视频特征数据的应用更加广泛，且视频特征数据包括视频帧的特征权重以及时序位置编码，提高视频特征数据的准确性。 来自马-克-数-据
申请人信息
- 申请人:北京搜狐新媒体信息技术有限公司
- 申请人地址:100190 北京市海淀区科学院南路2号院3号楼12层1201
- 发明人: 北京搜狐新媒体信息技术有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 视频特征提取方法及装置、存储介质及电子设备 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410205925.3 |
| 申请日 | 2024/2/26 |
| 公告号 | CN117789099A |
| 公开日 | 2024/3/29 |
| IPC主分类号 | G06V20/40 |
| 权利人 | 北京搜狐新媒体信息技术有限公司 |
| 发明人 | 高鹏; 舒蕾 |
| 地址 | 北京市海淀区科学院南路2号院3号楼12层1201 |
专利主权项内容
1.一种视频特征提取方法，其特征在于，包括：基于特征提取信号确定待提取特征的至少一个视频；获取所述视频的音频数据和各个视频帧；调用预先训练完成的多模态视频特征提取模型对所述音频数据和各个所述视频帧进行处理，输出所述视频的视频特征数据；所述多模态视频特征提取模型为结合多个应用任务进行训练得到的模型；所述视频特征数据包括视频内容特征和自然语言特征处理结果，所述视频内容特征包含所述视频的各个视频帧的特征权重以及时序位置编码。