← 返回列表
用于确定文本和视频之间的相似度的方法和装置
申请人信息
- 申请人:支付宝(杭州)信息技术有限公司
- 申请人地址:310000 浙江省杭州市西湖区西溪路556号8层B段801-11
- 发明人: 支付宝(杭州)信息技术有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 用于确定文本和视频之间的相似度的方法和装置 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410044723.5 |
| 申请日 | 2024/1/11 |
| 公告号 | CN117556276A |
| 公开日 | 2024/2/13 |
| IPC主分类号 | G06F18/22 |
| 权利人 | 支付宝(杭州)信息技术有限公司 |
| 发明人 | 俞旭铮; 蒋晨; 刘洪; 郭清沛 |
| 地址 | 浙江省杭州市西湖区西溪路556号8层B段801-11 |
摘要文本
本说明书的实施例提供了一种用于确定文本和视频之间的相似度的方法和装置。在该方法中，利用文本特征提取模型和视频特征提取模型分别得到文本和视频对应的初始文本特征和初始视频特征；根据文本的句法层级分析结果对初始文本特征进行处理，得到句法层级分析结果中的各个元素分别对应的文本特征；根据句法层级分析结果对应的文本特征与所得到的初始视频特征之间的匹配度，构建与句法层级分析结果对应的视频层级分析结果；进而对对应的初始视频特征进行处理得到视频层级分析结果中的各个元素分别对应的视频特征；根据对应层级中的各个元素分别对应的文本特征和视频特征之间的相似度，确定文本和所述视频之间的相似度。
专利主权项内容
1.一种用于确定文本和视频之间的相似度的方法，包括：将所获取的文本视频对包括的文本和视频分别提供给文本特征提取模型和视频特征提取模型，得到对应的初始文本特征和初始视频特征，其中，所述初始文本特征包括所述文本包含的各个词符对应的词符特征，所述初始视频特征包括基于所述视频包含的图像而提取的图像特征；对所述文本进行句法分析，得到句法层级分析结果；根据所述句法层级分析结果对所述初始文本特征进行处理，得到与所述句法层级分析结果中的各个元素分别对应的文本特征；根据所得到的与所述句法层级分析结果中的各个元素分别对应的文本特征与所得到的初始视频特征之间的匹配度，构建与所述句法层级分析结果对应的视频层级分析结果；根据所述视频层级分析结果对各个元素对应的初始视频特征进行处理，得到所述视频层级分析结果中的各个元素分别对应的视频特征；以及根据对应层级中的各个元素分别对应的文本特征和视频特征之间的相似度，确定所述文本和所述视频之间的相似度。