一种融合渲染信息的航天器位姿估计方法

专利主权项内容

1.一种融合渲染信息的航天器位姿估计方法，其特征在于：构建航天器位姿数据集，对所获得原始RGB图像进行渲染，并为原始图片和渲染图片各生成一张前景的掩码，将传统4模块的Swin Transformer网络做轻量级改进为3模块网络，为此对输入数据进行处理，扩大通道数，输入改进后Swin Transformer模块逐次进行三个层级的自注意力计算，提取多尺寸的特征信息，再将其输入对平移量和旋转量分别设置的两个全连接层得到估计的位姿参数，具体步骤如下：1)构建航天器位姿数据集在单一光源的暗室环境中，使用机械臂旋转移动平台搭载某型号航天器模拟其运动位姿，固定光学相机机位，采集含有位姿信息的航天器RGB图像，包含平移量(沿x、y、z三个直角坐标轴方向的移动3个自由度)和旋转量(俯仰角、偏航角、滚动角3个自由度)共6个自由度上的位姿数据，针对后续改进的Swin Transformer模块输入格式，对数据进行预处理，将输入数据设置为224×224×3大小的张量；2)获取渲染数据组成8通道数据为增强数据集航天器的位置信息，使用3DMax软件对图片进行自动渲染，并为原始图片和渲染图片各生成一张前景的掩码，根据两张前景掩码生成扩大的边界框，实现对图片的合理剪裁，其中确保边界框与输入图片有相同的纵横比；对裁剪的图片进行缩放，应用双线性插值，让裁剪图片和原图有相同的尺寸；其中，原始图片和渲染图片各3通道(RGB)，掩码图各1通道(灰度图)，共同组成后续网络输入的8个通道；3)减少Swin Transformer计算模块为减轻数据占用内存，提升模型解算效率，将传统Swin Tranfomer四个计算模块进行减枝处理至三个模块，并对输入数据进行处理，使用4×4的批尺寸将所获的8通道图片，即H×W×8，经批分割处理得到的图片大小，对其进行批合并以提取多尺度的特征信息，使用一个1×1的卷积在128的维度上增加通道数，得到/>的张量作为改进后轻量级Swin Transformer模块的输入；4)构建层级式特征提取块将大小的张量输入Swin Transformer模块进行自注意力计算，自注意力机制的机理为：将编码器编码后的二维特征矩阵A与三个权重矩阵相乘得到Q, K, V：aaaW、W、W分别由查询向量q、键向量k、值向量v组成的三个权重矩阵，将得到的Q, K, V使用激活函数进行非线性操作：qkvaaa然后将Q, K, V加上矩阵A，得到Q', K', V'：根据计算自注意力值，其中d是键向量维度的平方根；对于第二、三层级的特征提取，同样使用一个1×1的卷积在128的维度上增加通道数处理，最终得到7×7×1024的张量，再将其输入全连接层得到估计的位姿参数。k