← 返回列表

一种文本视频检索方法、系统及计算机存储介质

申请号: CN202311798646.4
申请人: 西安邮电大学
申请日期: 2023/12/26

摘要文本

本申请公开了一种文本视频检索方法、系统及计算机存储介质,涉及图像处理技术领域。其中方法包括:获取文本,对文本进行编码,获得文本特征向量;生成与文本相应的图像;对图像进行编码,获得图像特征向量;将文本特征向量和图像特征向量组合,获得文本图像组合特征向量;获取视频,对视频进行编码,获得视频深度预览特征向量;确定文本图像组合特征向量和每个视频的视频深度预览特征向量的相似度,根据相似度确定与文本匹配的视频。本申请通过生成图像来增强文本表示的丰富度和维度,使文本能更全面地与视频特征进行匹配,从而提高检索的准确性。

专利详细信息

项目 内容
专利名称 一种文本视频检索方法、系统及计算机存储介质
专利类型 发明申请
申请号 CN202311798646.4
申请日 2023/12/26
公告号 CN117493608A
公开日 2024/2/2
IPC主分类号 G06F16/783
权利人 西安邮电大学
发明人 丁松涛; 王红玉; 耿淳; 杨雨晨
地址 陕西省西安市雁塔区长安南路563号

专利主权项内容

1.一种文本视频检索方法,其特征在于,包括:获取文本,对所述文本进行编码,获得文本特征向量;生成与所述文本相应的图像;对所述图像进行编码,获得图像特征向量;将所述文本特征向量和图像特征向量组合,获得文本图像组合特征向量;获取视频,对所述视频进行编码,获得视频深度预览特征向量;确定所述文本图像组合特征向量和每个所述视频的所述视频深度预览特征向量的相似度,根据所述相似度确定与所述文本匹配的所述视频;其中,对所述视频进行编码的方法包括:分别利用Image CNN、BiGRU和BiGRU-CNN模型提取所述视频的特征,分别获得第一特征向量、第二特征向量和第三特征向量;对所述第一特征向量和第二特征向量组合后进行平均池化处理,获得全局预览特征向量;将所述第一特征向量、第二特征向量和第三特征向量组合后,再与所述全局预览特征向量组合,获得所述视频深度预览特征向量。