基于双路模型融合的视频分割方法、装置、设备及介质

专利主权项内容

1.一种视频分割方法，包括：片段分割步骤：基于视频中相邻的视频帧之间的相关系数，将所述视频分割成片段，所述片段分割步骤包括：直方图计算步骤：计算所述视频的每一个视频帧的YCbCr直方图，相关系数计算步骤：计算该视频帧的YCbCr直方图与前一个视频帧的YCbCr直方图的相关系数，阈值比较步骤：在所述相关系数小于预定的第一阈值时，将该视频帧作为新的片段的起始帧；场景识别步骤：对于所述片段中的视频帧，将所述视频帧的RGB通道分别转化为固定尺寸的分辨率，将经过分辨率转化后的视频帧输入到第一网络模型中，得到该视频帧的场景特征向量，其中，所述第一网络模型为：去掉最后一层全连接层和Softmax分类器的VGG16网络模型；局部行为特征识别步骤：将所述视频帧的RGB通道分别转化为最短边长固定的分辨率，将最短边长固定的视频帧输入到第一网络模型中，将所述第一网络模型的输出结果输入到基于区域的卷积神经网络模型中，利用所述基于区域的卷积神经网络的输出结果计算最优检测类别结果，将所述最优检测类别结果经过感兴趣区域池化层得到局部行为特征向量；视频帧行为类别判断步骤：基于所述场景特征向量和所述局部行为特征向量，识别所述视频帧的行为类别和与该行为类别对应的置信度，所述视频帧行为类别判断步骤包括：视频帧特征向量合并步骤：将所述场景特征向量和所述局部行为特征向量合并为视频帧特征向量，和行为类别和置信度计算步骤：将所述视频帧特征向量输入到第三网络，得到所述视频帧的行为类别和与该行为类别对应的置信度，其中，所述第三网络由4个全连接层与Softmax分类器依次连接形成；片段行为类别确定步骤：基于所述片段的视频帧的行为类别和置信度，确定该片段的行为类别；片段合并步骤：将相邻的行为类别相同的片段合并，得到所述视频的分割结果。