一种AI辅助检测的3D内窥镜系统及成像方法

专利主权项内容

1.一种AI辅助检测的3D内窥镜系统，其特征在于，包括：光源，用于输出白色光线并射向观察区域；摄像装置，所述摄像装置包括第一摄像单元和第二摄像单元，所述第一摄像单元获取白色光线，以生成白光图像信号；第二摄像单元获取白色光线中设定波长的光，以生成窄带光图像信号；处理器，获取所述白光图像信号和窄带光图像信号，以进行病变检测，输出3D图像；所述处理器获取所述白光图像信号和窄带光图像信号，进行病变检测，输出3D图像，包括：处理器获取所述白光图像信号和窄带光图像信号，并将所述白光图像信号和窄带光图像信号对应转换为白光图像和窄带光图像；处理器对所述白光图像和窄带光图像进行处理，并利用AI检测对处理后的白光图像和窄带光图像进行病变检测，合成3D图像；所述处理器对所述白光图像和窄带光图像进行处理，并利用AI检测对处理后的白光图像和窄带光图像进行病变检测，合成3D图像，包括：获取白光图像和窄带光图像，以将所述白光图像和窄带光图像对应转换为白光彩色图像和窄带光彩色图像；计算所述白光彩色图像和窄带光彩色图像的立体视差，以确定立体视差图；响应于用户选择的观察模式，当用户选择的是白光观察模式时，进行3D白光图像的合成；当用户选择的是窄带光观察模式时，利用所述立体视差图将所述白光彩色图像映射到所述窄带光彩色图像对应的相机坐标下得到重建的白光彩色图像，进行AI辅助判断的选择；当进行AI辅助判断时，对所述重建的白光彩色图像和窄带光彩色图像进行融合，以生成融合图像，利用预存储的AI模型对所述融合图像进行辅助病变检测，以输出病变标记图像；根据白光彩色图像、窄带光彩色图像和病变标记图像对应合成3D窄带光图像、3D白光病变标记图像和3D窄带光病变标记图像；所述根据白光彩色图像、窄带光彩色图像和病变标记图像对应合成3D窄带光图像、3D白光病变标记图像和3D窄带光病变标记图像，包括：当输入图像为白光彩色图像和病变标记图像时，根据所述立体视差图将病变标记图像映射到白光彩色图像，以确定第一白光图像；根据所述立体视差图将第一白光彩色图像映射到窄带光彩色，以确定第二白光图像；根据所述第一白光图像和第二白光图像的景深进行第一白光图像和第二白光图像的合成，以输出3D白光病变标记图像；当输入图像为窄带光彩色图像时，根据所述立体视差图将所述窄带光彩色图像映射到白光彩色图像得到重建的窄带光彩色图像；根据所述窄带光彩色图像和重建的窄带光彩色图像的景深进行窄带光彩色图像和重建的窄带光彩色图像的合成，以输出3D窄带光图像；当输入图像为窄带光彩色图像和病变标记图像时，根据所述立体视差图将所述病变标记图像映射到窄带光彩色图像，以得到第一窄带光图像；根据所述立体视差图将所述第一窄带光图像映射到白光彩色图像，以得到第二窄带光图像；根据所述第一窄带光图像和第二窄带光图像的景深进行第一窄带光图像和第二窄带光图像的合成，以输出3D窄带光病变标记图像。