← 返回列表
基于多终端协同感知分布式大模型的图像处理及构建方法
摘要文本
本发明提供一种基于多终端协同感知分布式大模型的图像处理及构建方法,涉遥感图像处理领域,用于解决在线执行任务性能有限,大模型部署困难的问题,包括:获取不同卫星观测的同一场景的遥感图像;将每个遥感图像分别输入对应卫星的神经网络模型,提取每个遥感图像中的第一特征;计算第一特征的自信分数;根据自信分数确定多个卫星终端中需要被协助的卫星终端为请求端;计算请求端的第一特征与其他卫星终端的第一特征之间的匹配度;根据匹配度确定协助请求端的至少一个卫星终端为协助端;计算请求端的第一特征与协助端的第一特征之间的关联特征;基于自信分数和匹配度将请求端的第一特征与关联特征进行加权融合;根据融合特征生成图像检测结果。
申请人信息
- 申请人:中国科学院空天信息创新研究院
- 申请人地址:100190 北京市海淀区北四环西路19号
- 发明人: 中国科学院空天信息创新研究院
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于多终端协同感知分布式大模型的图像处理及构建方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311498044.7 |
| 申请日 | 2023/11/10 |
| 公告号 | CN117523410A |
| 公开日 | 2024/2/6 |
| IPC主分类号 | G06V20/13 |
| 权利人 | 中国科学院空天信息创新研究院 |
| 发明人 | 孙显; 付琨; 王智睿; 陈凯强; 赵良瑾; 成培瑞; 卢雪 |
| 地址 | 北京市海淀区北四环西路19号 |
专利主权项内容
1.一种基于多终端协同感知分布式大模型的图像处理方法,其特征在于,所述分布式大模型包括多个卫星终端,每个卫星终端采用神经网络模型的结构相同;方法包括:获取不同卫星观测的同一场景的多个遥感图像;将每个卫星观测的遥感图像分别输入该卫星的神经网络模型,执行以下操作:提取每个所述遥感图像中的第一特征;计算各个所述第一特征的自信分数,其中,所述自信分数用于表征所述第一特征包含的信息量;根据所述自信分数确定所述多个卫星终端中需要被协助的卫星终端,作为请求端;对于每一个请求端,计算请求端对应的所述第一特征与其他卫星终端对应的第一特征之间的匹配度;根据所述匹配度确定协助所述请求端至少一个卫星终端,作为协助端;计算所述请求端的第一特征与对应的协助端的第一特征之间的关联特征;基于所述自信分数和所述匹配度将请求端的第一特征与对应的协助端的关联特征进行加权融合,得到与该请求端对应的融合特征;根据所述融合特征生成图像检测结果。