← 返回列表
零样本实例分割方法、系统、可读存储介质及计算机
摘要文本
本发明提供一种零样本实例分割方法、系统、可读存储介质及计算机，该方法包括：对数据筛选得到的筛选图像数据集依次进行伪标签生成、相似度计算以及标签筛选得到目标图像数据集；分别提取目标图像数据集的图像特征和文本图特征，并利用自注意力机制和多尺度可变注意力机制提取图像特征和文本图特征的嵌入表征，以构建编码器模型；在编码器模型中引入模态交互算法得到目标编码器模型；基于对比损失函数、目标损失函数和目标图像数据集计算出整体损失函数；利用目标编码器模型、跨模态解码器模型以及整体损失函数所构建的双流编解码模型实现图像数据的语义标签检测。本发明通过输入来检测任意对象，并输出带有检测框的相应像素级别的语义标签。
申请人信息
- 申请人:江西云眼视界科技股份有限公司
- 申请人地址:330096 江西省南昌市南昌高新技术产业开发区京东大道1189号创新工场科创孵化大楼5楼北区
- 发明人: 江西云眼视界科技股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 零样本实例分割方法、系统、可读存储介质及计算机 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311705342.9 |
| 申请日 | 2023/12/13 |
| 公告号 | CN117407557A |
| 公开日 | 2024/1/16 |
| IPC主分类号 | G06F16/583 |
| 权利人 | 江西云眼视界科技股份有限公司 |
| 发明人 | 王伟; 张磊; 唐涛; 夏迪; 张智睿 |
| 地址 | 江西省南昌市南昌高新技术产业开发区京东大道1189号创新工场科创孵化大楼5楼北区 |
专利主权项内容
1.一种零样本实例分割方法，其特征在于，包括：获取若干图像数据集，并对各所述图像数据集进行数据筛选，以得到对应的筛选图像数据集；对所述筛选图像数据集依次进行伪标签生成、相似度计算以及标签筛选，以得到对应的目标图像数据集；分别提取所述目标图像数据集的图像特征和文本图特征，并利用自注意力机制和多尺度可变注意力机制提取所述图像特征和所述文本图特征的嵌入表征，以构建对应的编码器模型；在所述编码器模型中引入模态交互算法，以得到对应的目标编码器模型；构建跨模态解码器模型，并基于对比损失函数、目标损失函数和所述目标图像数据集计算出对应的整体损失函数；根据所述目标编码器模型、所述跨模态解码器模型以及所述整体损失函数构建双流编解码模型，并利用所述双流编解码模型实现图像数据的语义标签检测。