一种用于智能监控系统的弱监督异常行为智能检测方法

专利主权项内容

1.一种用于智能监控系统的弱监督异常行为智能检测方法，其特征在于，包括以下步骤：步骤1、提取视频模态的特征、提取音频模态的特征；步骤2、采用自注意力网络分别对视频模态的特征和音频模态的特征进行自注意力增强；步骤3、将步骤2得到的自注意力增强后的特征输入多层感知器中提取高级语义特征，得到视频与音频模态高级语义特征；步骤4、激活函数归一化视频与音频模态高级语义特征均值，获得片段级别的异常行为伪标签；步骤5、分别将步骤3中获得的视频与音频模态高级语义特征归一化得到背景抑制的门控信息，以视频模态的门控信息增强步骤2中获得的音频模态的特征，得到背景增强后的音频模态的特征，以音频模态的门控信息增强步骤2中获得的视频模态的特征，得到背景增强后的视频模态的特征；步骤6、将步骤5中背景增强后的音频模态的特征与视频模态的特征进行跨模态注意力增强，获得音频模态与视频模态融合的特征，并利用多层感知器得到最终的多模态异常行为概率值；步骤7、将步骤4获得的片段级别的异常行为伪标签作为噪声标签，与步骤6获得的多模态异常行为概率值进行损失值计算；步骤8、以多实例学习方式计算步骤6中多模态异常行为概率值与视频级标签的损失值；步骤9、将步骤7与步骤8的损失值求加权和作为损失值，步骤2至步骤6为弱监督下多模态异常行为检测网络模型，对弱监督下多模态异常行为检测网络模型进行训练。