← 返回列表
一种基于用户自定义类别的物体检测方法及系统
申请人信息
- 申请人:杭州觅睿科技股份有限公司
- 申请人地址:310051 浙江省杭州市滨江区西兴街道楚天路91号1栋4楼; 2栋2, 3, 4楼
- 发明人: 杭州觅睿科技股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于用户自定义类别的物体检测方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410190083.9 |
| 申请日 | 2024/2/21 |
| 公告号 | CN117746078A |
| 公开日 | 2024/3/22 |
| IPC主分类号 | G06V10/75 |
| 权利人 | 杭州觅睿科技股份有限公司 |
| 发明人 | 赵刚强; 金伟; 应红力 |
| 地址 | 浙江省杭州市滨江区西兴街道楚天路91号1栋4楼、2栋2, 3, 4楼 |
摘要文本
本申请提供了一种基于用户自定义类别的物体检测方法及系统，属于图文数据处理技术领域，包括：用户输入一段自然语言描述和一张相关图像，利用基于短语边界点建模技术的检测目标辅助刻画生成技术获得检测目标辅助输入；调用基于多模态重构对准网络的检测目标刻画生成模型，获得检测目标的多个文本刻画；基于图像自适应目标刻画匹配度估算技术生成目标反向刻画以进一步满足检测目标自定义需求；基于自定义物体检测使用过程中的反馈数据对图文多模态模型进行优化。支持用户自定义的物体检测技术，结合了多模态重构对准网络的目标刻画生成能力和图文多模态模型的图像识别能力，极大方便用户对图像识别技术的使用，方案具有较强的普及能力。
专利主权项内容
1.一种基于用户自定义类别的物体检测方法，其特征在于，包括：获取待检测用户的输入数据，基于短语边界点建模技术的检测目标辅助刻画生成技术对输入数据进行处理，得到检测目标的辅助输入数据，其中，输入数据包括文本数据和图像数据，检测目标为待检测用户的输入数据的物体检测结果；基于多模态重构对准网络的检测目标刻画生成技术对输入数据和辅助输入数据进行处理，得到检测目标的文本刻画，文本刻画的数量大于等于两个；基于图像自适应的目标刻画匹配度估算技术对文本刻画进行筛选，将不符合用户自定义需求的文本刻画选出，得到反向刻画；将反向刻画和筛选后的文本刻画汇总后输入图文多模态模型中运算，得到待检测用户的检测目标；存储待检测用户得到检测目标后的反馈数据，基于反馈数据对图文多模态模型进行调优。