← 返回列表
基于文本可提示的在线手术视频器械跟踪系统
申请人信息
- 申请人:青岛农业大学; 江苏悦光智能科技集团有限公司
- 申请人地址:266109 山东省青岛市城阳区长城路700号青岛农业大学
- 发明人: 青岛农业大学; 江苏悦光智能科技集团有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于文本可提示的在线手术视频器械跟踪系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410199196.5 |
| 申请日 | 2024/2/23 |
| 公告号 | CN117789921A |
| 公开日 | 2024/3/29 |
| IPC主分类号 | G16H20/40 |
| 权利人 | 青岛农业大学; 江苏悦光智能科技集团有限公司 |
| 发明人 | 王轩慧; 董坪鑫; 王赞; 王轩力; 马媛媛; 谢德燕; 凌一茗; 孙文峰; 葛敬光; 罗慧; 王鹏; 刘潇洋; 吴伟 |
| 地址 | 山东省青岛市城阳区长城路700号; |
摘要文本
本发明涉及手术器械跟踪技术领域，具体涉及基于文本可提示的在线手术视频器械跟踪系统包括视觉编码器：用于提取帧级视觉嵌入作为密集线索；文本编码器：用于提取语言嵌入作为稀疏线索；分层跨模态融合模块：用于融合视觉语义信息和稀疏线索，以获得细粒度的密集线索；掩码解码器：用于进行掩码预测实现多模态查询图元输出；显式时序线索传播模块：对掩码解码器历史信息进行编码。本申请以提高手术器械分割模型的实时性、精准性和鲁棒性为目标，通过精确的仪器分割增强手术过程的自动感知，将文本提示和时序线索作为手术器械分割的补充信息，促进了手术机器人与外科医生的实时交互。
专利主权项内容
1.一种基于文本可提示的在线手术视频器械跟踪系统，其特征在于，包括视觉编码器：用于提取帧级视觉嵌入作为密集线索；文本编码器：用于提取语言嵌入作为稀疏线索；分层跨模态融合模块：用于融合视觉语义信息和稀疏线索，以获得细粒度的密集线索；掩码解码器：用于进行掩码预测实现多模态查询图元输出；显式时序线索传播模块：对掩码解码器历史信息进行编码。。 （来源 ）