一种基于多模态的视频情感分析系统

专利主权项内容

1.一种基于多模态的视频情感分析系统，其特征在于，包括音视频采集模块、表情识别模块、语音分析模块和情感综合分析模块；所述音视频采集模块用于采集用户的面部视频信息和语音信息，所述表情识别模块用于对面部视频信息进行分析处理，所述语音分析模块用于对语音信息进行分析处理，所述情感综合分析模块基于视频分析结果和语音分析结果处理得到用户的情感信息；所述音视频采集模块包括视频采集单元、音频采集单元和同步标记单元，所述视频采集单元用于采集用户的面部视频信息，所述音频采集单元用于采集用户的语音信息，所述同步标记单元用于在视频信息和语音信息中标记同步时间点；所述表情识别模块包括面部特征提取单元和表情分析单元，所述面部特征提取单元用于从视频信息中提取用户的面部特征，所述表情分析单元基于面部特征对用户的情绪进行分析；所述语音分析模块包括语音特征提取单元和语调分析单元，所述语音特征提取单元用于提取语音信息中的关键特征，所述语调分析单元根据关键特征对用户的情绪进行分析；所述情感综合分析模块包括数据融合单元和情感判定单元，所述数据融合单元用于将表情识别模块的分析数据和语音分析模块的分析数据进行多模态融合，所述情感判定单元基于融合后的数据对用户的整体情感状态进行判定分析；所述表情分析单元包括向量分析处理器、第一情绪特征寄存器和第一校对分析处理器，所述向量分析处理器用于对特征向量进行计算处理的得到表情数据，所述第一情绪特征寄存器用于保存每个情绪的表情数据，所述第一校对分析处理器将计算得到的表情数据和记录的表情数据进行比较并输出第一判断向量；所述第一校对分析处理器根据下式计算出第一判断向量Jv1：
；其中，Jv1为第一判断向量的第i个元素值，Jv1共有n个元素，n为第一情绪特征寄存器记录的情绪数量，Ep和Ep分别为表情数据的横向比值和纵向比值，Ep(i)和Ep(i)为第i个情绪的横向比值和纵向比值；i1212所述语调分析单元包括第二情绪特征寄存器和第二校对分析处理器，所述第二情绪特征寄存器用于保存每个情绪的语调数据，所述第二校对分析处理器用于将峰值特征向量与语调数据进行比较并输出第二判断向量Jv2，具体公式如下：
；其中，Jv2表示第二判断向量的第i个元素值，Jv2共有n个元素，和/>为第i个情绪的语调特征向量，(/>，/>)为对应目标时间段内的语调特征向量；i所述数据融合单元包括时间匹配处理器和融合分析处理器，所述时间匹配处理器根据同步时间点将第一判断向量划分为多个集合，每个集合与对应的一个第二判断向量匹配，所述融合分析处理器将匹配的第一判断向量集合与第二判断向量进行分析处理；所述融合分析处理器根据下式对第一判断向量集合进行一级融合处理得到一级融合向量Jv1’：
；其中，Jv1’为一级融合向量的第i个元素值，N为第一判断向量集合中的向量数量，Jv1(j)为第一判断向量集合中第j个向量的第i个元素值，N(i，j)为第一判断向量集合第j个向量的第i个元素值在本向量元素值中的排序值；ii所述融合分析处理器根据下式进行二级融合处理得到二级融合向量Jv2’：
；其中，Jv2’为二级融合向量中的第i个元素值。i 更多数据：搜索马克数据网来源：