一种基于AI大模型内容安全质检处理方法
申请人信息
- 申请人:深圳市多易得信息技术股份有限公司
- 申请人地址:518000 广东省深圳市前海深港合作区南山街道兴海大道3040号前海世茂金融中心二期
- 发明人: 深圳市多易得信息技术股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于AI大模型内容安全质检处理方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410174525.0 |
| 申请日 | 2024/2/7 |
| 公告号 | CN117727047A |
| 公开日 | 2024/3/19 |
| IPC主分类号 | G06V30/19 |
| 权利人 | 深圳市多易得信息技术股份有限公司 |
| 发明人 | 高成福; 汪金山 |
| 地址 | 广东省深圳市前海深港合作区南山街道兴海大道3040号前海世茂金融中心二期 |
摘要文本
本发明涉及内容检测技术领域，尤其涉及一种基于AI大模型内容安全质检处理方法，该方法包括获取待识别视频中当前帧图像与前一帧图像的结构相似度，确定对当前帧图像的初次判定，确定对当前帧图像进行初次判定的判定方式，确定是否将当前帧图像判定为待识别图像，确定待识别图像是否合格，确定对当前帧图像进行二次判定，确定是否将当前帧图像判定为待识别图像，确定待识别图像是否合格，确定对所述文本相似度的调整，确定对预设时长的调整，本发明克服了现有技术中对视频逐帧图像进行内容安全质检分类的效率低，随机抽取图像进行内容安全质检分类的精确度低的问题。
专利主权项内容
1.一种基于AI大模型内容安全质检处理方法，其特征在于，包括：获取待识别视频中当前帧图像与前一帧图像的结构相似度，根据所述结构相似度确定对当前帧图像的初次判定；根据所述结构相似度与预设结构相似度的第一相对差确定对当前帧图像进行初次判定的判定方式；根据文本相似度确定是否将当前帧图像判定为待识别图像，根据待识别图像被分类为违规内容的第二概率确定待识别图像的合格性；或，确定对当前帧图像进行二次判定；计算抽帧图像的描述文本与当前帧图像的描述文本的平均语义相似度，并根据所述平均语义相似度确定是否将当前帧图像判定为待识别图像，根据待识别图像被分类为违规内容的第二概率确定待识别图像的合格性；或，根据所述平均语义相似度与预设平均语义相似度的第三相对差确定对所述文本相似度的调整；或，确定对预设时长的调整；其中，所述判定方式包括第一判定方式和第二判定方式，所述第一判定方式为采用图像内容描述模型生成当前帧图像和前一帧图像的描述文本，根据当前帧图像的描述文本与前一帧图像的描述文本的文本相似度确定是否将当前帧图像判定为待识别图像；所述第二判定方式为采用卷积神经网络对当前帧图像进行分类，根据当前帧图像被分类为违规内容的第一概率确定当前帧图像的合格性；所述二次判定包括对待识别视频中当前帧图像之前预设时长内的视频片段进行抽帧，根据文本相似度与第一预设文本相似度的第二相对差确定对所述视频片段进行抽帧的抽帧频率。