动态视觉驱动的大模型无感交互分割方法

专利主权项内容

1.动态视觉驱动的大模型无感交互分割方法，其特征在于，实现视觉交互分割包括以下步骤：S1：引入动态视觉驱动分割技术，在医用领域利用医生动态视觉引导实时无感交互分割；S2：初始化医学图像分割大模型并加载相关参数；S3：使用眼动仪实时收集用户在图像上的视觉运动数据并将该图像输入图像编码器编码为图像高维特征；S4：将步骤S3中收集到的原始视觉运动数据通过视觉运动数据过滤器，能够过滤噪声并将视觉运动数据分类为扫视行为数据和凝视行为数据；S5：根据步骤S3中的用户的视觉运动行为模式，智能选择将扫视行为数据或凝视行为数据作为提示信息用于分割；S6：将步骤S4、S5中筛选好的视觉运动信息作为提示信息输入医学图像分割大模型，模型中使用提示信息编码器对其进行编码为视觉感知高维特征；S7：将步骤S3中原始图像高维特征与步骤S6中编码后的视觉感知高维特征进行融合操作，并输入最终的解码器进行分割；S8：将步骤S7中解码得到的分割结果与原始图像叠加并可视化给用户提供反馈，用户根据当前分割结果调整视线进行下次交互从而优化分割结果。