结构健康诊断视觉-语言基础模型和多模态交互系统的建立方法

摘要文本

本发明提出结构健康诊断视觉‑语言基础模型和多模态交互系统的建立方法。所述方法包括如下步骤：步骤一：建立土木工程结构健康诊断领域知识多模态数据集；步骤二：建立土木工程结构健康诊断领域的基础语言模型；步骤三：建立接受人类反馈的结构健康诊断半自动数据优化标注模型；步骤四：建立结构健康诊断多模态基础模型，设计结构健康诊断跨模态提示学习策略；步骤五：建立结构健康诊断视觉‑语言多模态交互系统。本发明提供了一种面向多任务的结构健康诊断多模态学习基础模型，可根据图像和问题指令生成回答，具有识别结构构件、描述构件损伤和运维处理方法等通用结构健康诊断能力。