← 返回列表
应用于社交媒体的图像与文本语义相似度计算方法及系统
摘要文本
本发明公开了一种应用于社交媒体的图像与文本语义相似度计算方法及系统，涉及语义相似度计算技术领域，该方法包括：通过图像场景图生成模型和文本场景图生成模型分别将图像和文本转化为图像场景图和文本场景图；根据图像场景图和文本场景图中物体‑关系‑物体三元组分别构建图像高层语义子图和文本高层语义子图；基于图像场景图和文本场景图中的物体节点和关系节点，利用向量点积计算局部细节匹配分数；基于高层语义子图和文本高层语义子图计算高层语义匹配分数；基于局部细节匹配分数和高层语义匹配分数计算图像与文本的语义相似度。本发明从底层局部细节到高层语义信息来衡量两个模态语义的相关程度，得到更加准确的图像与文本的语义相似度。
申请人信息
- 申请人:北京北大软件工程股份有限公司
- 申请人地址:100080 北京市海淀区北四环西路67号中关村国际创新大厦11层1101-1103、1106-1108室
- 发明人: 北京北大软件工程股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 应用于社交媒体的图像与文本语义相似度计算方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311722719.1 |
| 申请日 | 2023/12/15 |
| 公告号 | CN117421609A |
| 公开日 | 2024/1/19 |
| IPC主分类号 | G06F18/22 |
| 权利人 | 北京北大软件工程股份有限公司 |
| 发明人 | 温立强; 安靖; 袁想; 翁璐嵩; 陈一朴; 王宇 |
| 地址 | 北京市海淀区北四环西路67号中关村国际创新大厦11层1101-1103、1106-1108室 |
专利主权项内容
1.一种应用于社交媒体的图像与文本语义相似度计算方法，其特征在于，包括：获取社交媒体上用户上传的图像和文本；通过图像场景图生成模型和文本场景图生成模型分别将所述图像和所述文本转化为图像场景图和文本场景图；所述图像场景图和所述文本场景图均包括物体节点和关系节点；根据所述图像场景图和所述文本场景图中物体-关系-物体三元组分别构建图像高层语义子图和文本高层语义子图；基于所述图像场景图和所述文本场景图中的物体节点和关系节点，利用向量点积计算局部细节匹配分数；基于所述高层语义子图和所述文本高层语义子图计算高层语义匹配分数；基于所述局部细节匹配分数和所述高层语义匹配分数计算所述图像与所述文本的语义相似度。