一种基于实时多模态数据的救灾指挥系统及方法

专利主权项内容

1.一种基于实时多模态数据的救灾指挥系统，其特征在于，包括指挥中心和模块化便携式边缘设备；所述指挥中心用于救灾现场的实时指挥和数据处理，包括数据处理模块和指挥中心数据传输模块；模块化便携式边缘设备包括数据采集模块、数据预处理模块、边缘设备数据传输模块和显示模块；每个模块的功能如下：数据采集模块：包括点云数据采集模块和视频数据采集模块，分别用于采集救灾指挥系统所需的3D点云数据和2D图像数据；数据预处理模块：包含任务处理器，用于将点云数据采集模块和视频数据采集模块的采集数据经过轻量化数据清洗和挖掘后发送给边缘数据传输模块；边缘设备数据传输模块：包含边缘多模态通信模块，支持多模态数据通信，用于发送数据预处理模块处理得到的数据给指挥中心，并从指挥中心接收处理好的图像数据发送给显示模块；显示模块：用于进行指挥中心的图像数据的显示；数据处理模块：包含高性能处理器单元，其把边缘设备的数据预处理模块清洗和挖掘后的数据导入被量化剪裁的轻量级模型进行处理，对融合后的多模态数据进行高效快速的识别和重建，生成对救灾单兵有意义的图像数据并将生成的图像数据发送给指挥中心数据传输模块；指挥中心数据传输模块：包含多模态通信模块，用于将从数据处理模块接收到的图像数据发送给边缘设备的边缘设备数据传输模块。