增强现实的虚实融合装置及其虚实融合方法、设备、介质

专利主权项内容

1.一种增强现实的虚实融合装置，其特征在于，所述装置包括：双目视觉采集模块、处理模块、双目图像呈现模块；所述双目视觉采集模块与所述处理模块连接，所述处理模块与所述双目图像呈现模块连接；所述双目视觉采集模块包括左目视觉图像采集模块、右目视觉图像采集模块、惯导采集模块；所述左目视觉图像采集模块以及右目视觉图像采集模块在佩戴时位于人体双目前方，分别同时采集现实场景中真实对象的图像，所述惯导采集模块采集人体在运动过程中的角速度和加速度；所述处理模块通过对左右目视觉图像采集模块采集的现实场景中真实对象的图像、所述惯导采集模块采集的人体在运动过程中的角速度和加速度、虚拟场景中左右目虚拟相机采集的虚拟对象的左右目图像分别进行处理，以得到左右目虚实融合的图像，所述左右目虚实融合的图像为虚实对齐之后融合的图像，所述虚拟场景与现实场景之间具有对应关系，所述真实对象的图像包括所述真实对象的左目图像和所述真实对象的右目图像，所述人体在运动过程中的角速度和加速度用于确定所述左右目视觉图像采集模块的位姿，所述虚拟对象为根据所述左右目虚拟相机的位姿以及所述左右目虚拟相机的投影矩阵所对应的参数在所述虚拟场景中添加的对象，所述左右目虚拟相机的位姿为根据所述左右目视觉图像采集模块的位姿确定的，所述左右目虚拟相机的投影矩阵所对应的参数为根据所述左右目视觉图像采集模块的内部参数确定的，所述虚拟对象的左右目图像包括所述虚拟对象的左目图像和所述虚拟对象的右目图像，所述虚实对齐指的是所述真实对象的左目图像和所述虚拟对象的左目图像放置在同一个坐标系下，以及所述真实对象的右目图像和所述虚拟对象的右目图像放置在同一个坐标系下；所述双目图像呈现模块将所述左右目虚实融合的图像分别在人体双目处对应呈现出来。