基于旋转目标检测的眼球运动追踪方法及系统

专利主权项内容

1.基于旋转目标检测的眼球运动追踪方法，其特征是，包括：获取眼部图像序列；将眼部图像序列中的每一帧图像，输入到训练后的眼球运动追踪模型中，模型输出每一帧图像的瞳孔定位结果，训练后的眼球运动追踪模型用于：(1)：对第T帧图像进行特征提取和特征融合，得到第T帧图像的图像特征；T为大于等于1的正整数；(2)：判断当前第T帧图像是否是眼部图像序列中的首帧图像，如果是，则进入(3)；如果不是首帧图像，则判断第T-1帧的瞳孔遮挡程度是否小于第一设定阈值，如果小于第一设定阈值，则进入(3)；如果大于第一设定阈值，则判断第T-1帧的瞳孔遮挡程度是否小于第二设定阈值，如果小于第二设定阈值，则对第T帧图像和模板进行时间域上的特征融合，进入(3)；如果大于第二设定阈值，则进入(4)；所述对第T帧图像和模板进行时间域上的特征融合，包括：其中, 是融合后的特征图，/>是第/>帧图像特征，/>是模板特征，/>是指特征图的第/>个通道，/>是卷积操作，模板是允许更新的，初始模板为设定的无遮挡瞳孔图像；(3)：采用旋转目标检测模型，对第T帧图像进行瞳孔定位；采用旋转目标检测模型，对第T帧图像进行瞳孔定位，包括：所述旋转目标检测模型，包括：并列的分类子网和回归子网；分类子网和回归子网均通过卷积神经网络来实现；所述分类子网，用于判断先验锚框中是否含有瞳孔，分类子网的输入值为第T帧图像的特征，分类子网的输出值为锚框中含有瞳孔的置信度；所述回归子网，用于预测先验锚框与瞳孔对应的旋转矩形框的偏移量，回归子网的输入值为第T帧图像的特征，回归子网的输出值为瞳孔所对应椭圆与锚框的偏移量；所述分类子网，在得到置信度最高的锚框后，假设置信度最高的锚框的参数分别为：锚框中心点坐标/>, 锚框中心点/>坐标/>, 锚框的宽/>, 锚框的长/>, 锚框的旋转角度/>, 根据回归子网得到的偏移量/>, 根据公式(3)、(4)、(5)、(6)、(7)、(8)和(9), 得到最终对于旋转矩形框的预测瞳孔对应旋转矩形框的中心点/>坐标/>，中心点/>坐标/>，矩形框的长/>，矩形框的宽/>，矩形框的旋转角度/>，/>也是瞳孔对应椭圆的中心点/>坐标, />也是瞳孔对应椭圆的中心点/>坐标, />也是瞳孔对应椭圆长轴长度, />也是瞳孔对应椭圆短轴长度, />也是瞳孔对应椭圆旋转角度；其中，表示中间变量，/>表示中间变量，/>表示预测椭圆中心点相对于锚框中心点x坐标偏移量，/>表示预测椭圆中心点相对于锚框中心点/>坐标偏移量，/>表示预测椭圆长轴相对于锚框长轴偏移量，/>表示预测椭圆短轴相对于锚框短轴偏移量，/>表示预测椭圆旋转角度相对于锚框旋转角度偏移量；(4)：采用语义分割，对第T帧图像瞳孔遮挡程度进行估计，如果第T帧图像瞳孔没有被遮挡，则将第T帧图像的瞳孔作为新的模板；(5)：判断第T帧图像是否为最后一帧图像，如果是，就结束，如果否，则对T加1，返回(1)。