术中内窥镜绝对与相对位姿计算的方法、装置及设备

专利主权项内容

1.一种术中内窥镜绝对与相对位姿计算的方法，其特征在于，包括以下步骤：采集虚拟相机模拟内窥镜动作时数据，构建RMIS场景下的虚拟数据集；基于通过外部标定技术获取内窥镜坐标系相对于传感器坐标系的位姿，采集模拟手术操作带动内窥镜进行运动时的数据，构建RMIS场景下的真实世界-模拟数据集；对所述的虚拟数据集和真实世界-模拟数据集进行数据预处理，将预处理后的虚拟数据集划分为第一训练集和第一测试集，将预处理后的真实世界-模拟数据集划分为第二训练集和第二测试集；基于编码器-解码器架构建立单编码器-双解码器的内窥镜位姿估计模型，所述内窥镜位姿估计模型包括编码器、特征跳跃连接器、语义分割解码器和位姿估计解码器；所述编码器用于提取RMIS过程中图像数据的各级特征图，所述各级特征图包含图像的不同抽象级别信息；所述特征跳跃连接器用于将编码器所提取的各级特征图送入语义分割解码器；所述语义分割解码器用于学习从特征图中恢复图像细节的能力并为位姿估计解码器提供隐式几何约束；所述位姿估计解码器用于从特征图中回归分析内窥镜的绝对位姿并输出RMIS过程中图像对应的内窥镜绝对位姿；采用预处理后的虚拟数据集和真实世界-模拟数据集对所述内窥镜位姿估计模型进行训练和评估，得到训练后的内窥镜位姿估计模型；实时采集RMIS过程中内窥镜系统捕获的患者体内图像数据，并输入至训练后的内窥镜位姿估计模型，获得RMIS过程中实时图像对应的内窥镜绝对位姿数据；基于RMIS过程中实时图像对应的内窥镜绝对位姿数据，计算RMIS过程中内窥镜的实时相对位姿。