一种低功耗胶囊内窥镜图像采集及三维重建系统

专利主权项内容

1.一种低功耗胶囊内窥镜图像采集及三维重建系统，其特征在于：包括胶囊内窥镜本体和图像接收端；所述的胶囊内窥镜本体包括第一MCU控制模块，所述的第一MCU控制模块分别与CMOS图像传感器、图像压缩模块和无线发射模块连接，所述的无线发射模块和第一MCU控制模块分别与第一电源管理模块连接，所述的第一电源管理模块还与所述的CMOS图像传感器连接，所述的CMOS图像传感器还包括短焦镜头；所述的图像接收端包括第二MCU控制模块，所述的第二MCU控制模块分别与无线接收模块、SD卡存储模块、串口通讯模块和USB通讯模块连接，所述的第二MCU控制模块还与第二电源管理模块连接，所述的无线发射模块和无线接收模块均为双向无线通讯模块；所述的第一MCU控制模块分别通过第一SPI总线与CMOS图像传感器、图像压缩模块和无线发射模块连接，所述的第二MCU控制模块通过第二SPI总线与所述的无线接收模块连接，所述的第二MCU控制模块通过SDIO接口与SD卡存储模块连接；所述胶囊内窥镜本体用于：胶囊内窥镜本体服入体内，胶囊内窥镜本体启动，第一MCU控制模块、CMOS图像传感器和无线发射模块正常工作，CMOS图像传感器拍摄肠道内的影像并通过无线发射模块传输至图像接收端中保存；胶囊内窥镜本体启动时，CMOS图像传感器和LED照明模块开始工作，无线发射模块处于断电状态；拍摄完成并通过CMOS图像传感器内置的图像压缩模块将图片压缩完成后，CMOS图像传感器和LED照明模块断电，同时启动无线发射模块将图片发送至图像接收端；图像接收端中的第二MCU控制模块检测到SD卡存储模块将图片保存完成后，通过无线接收模块通知第一MCU控制模块，第一MCU控制模块收到通知后，控制无线发射模块进入断电状态且控制CMOS图像传感器和LED照明模块开始工作；所述的胶囊内窥镜本体和图像接收端重复上述步骤，直到影像采集工作完成；所述三维重建系统用于：对图像接收端中保存的影像进行预处理，得到预处理图像，所述的预处理包括去除肠腔粘液的气泡引起的拍照时的高亮反光区域和对图片噪声进行差值处理；对得到的预处理图像进行栅格区域划分，根据栅格区域的特征分布参数提取数目稳定且分布均匀的特征，按照特征分布值从大至小对栅格区域重新排序；从特征分布值较大的前k个栅格区域中提取n个随机特征点且每个像素间的距离大于预设的距离阈值，然后对随机特征点进行匹配，得到序列图像；对随机特征点进行匹配时，若存在匹配效果不达预期的非期望观测，则进行消除不稳定特征处理；若在肠道中运行时胶囊内窥镜本体突然抖动引起当前帧与之前若干帧图像的特征点匹配失败，且在当前帧之后的若干帧图片中又重新匹配到已拍摄的序列图像，则删除当前帧之后的五帧图像，只对可疑病灶的特征区域三维重建；对相邻两帧序列图像进行匹配，得到CMOS图像传感器的运动参数和三维坐标；根据CMOS图像传感器的运动参数的三维坐标构建离散的三维网络，然后对离散的三维网络进行表面光滑，得到病灶区重建图像；基于栅格区域的ORB特征随机选取方法如下：把预处理后的图像划分为指定大小的栅格区域如 M*N 个，M和N 为常数；利用 ORB 特征提取算法检测出整幅图像的特征点，则这些 ORB 特征点会随机地分布在M*N 个栅格区域中；记特征点在区域中的位置坐标；计算n个ORB特征点位置坐标均值和方差，统计出区域内分布参数值：，按照特征分布值从大到小来对栅格区域进行重新排序，从特征分布指数值较大的前k 个栅格区域中提取n 个随机特征点，每个像素间的距离要大于所设定的阈值保证提取特征点不重叠。