基于双目视觉的井下抛矸固体充填充实率动态测量方法

专利主权项内容

1.一种基于双目视觉的井下抛矸固体充填充实率动态测量方法，其特征在于，包括以下步骤：步骤一、利用图像分割模型检测出单个矸石左右图像，计算出单个矸石的面积；单个矸石左右图像检测包括：利用双目相机采集矸石左右图像，准备用于图像分割的训练数据集；对训练数据集进行预处理，并使用随机分配法将预处理后的训练数据集划分为新的训练集和验证集；使用新的训练集对Segformer模型进行训练，得到多个训练后矸石图像分割模型，使用验证集对训练好的矸石图像分割模型进行测试，对比分析各个矸石图像分割模型的测试结果，从而确定最优的矸石图像分割模型；单个矸石面积计算包括：获取抛矸皮带机的皮带宽度为W，从抛矸皮带机上抛出的矸石瞬时速度为V，双目相机每T时间采样一次，则每次双目相机拍摄到的矸石区域面积为V*T*W，利用最优的矸石图像分割模型依次对采样区域内的单个矸石进行检测；统计每个矸石图像的像素点数目R和相机采样区域总像素点数目N，则单个矸石的近似面积为：i步骤二、采用双目立体视觉获取矸石区域的深度信息，并求出抛矸皮带机上矸石区域的矸石预测体积；采用双目立体视觉获取矸石区域的深度信息包括：利用双目相机标定获取相机的内部参数和外部参数；根据相机的内部参数和外部参数，使用双目图像矫正映射矩阵对步骤一中检测到的矸石左右图像进行透视变换，得到矫正后的矸石左右图像；再利用半全局优化匹配算法求解矸石左右图像的视差图；最后根据矸石左右图像的视差图计算矸石高度；相机的内部参数包括：相机焦距f、双目相机基线b和畸变参数ɑ；相机的外部参数包括：旋转矩阵R和平移向量Q；根据矸石左右图像的视差图计算单个矸石高度，具体为：双目相机通过三角形相似原理测量抛落区上方矸石深度，双目相机距离矸石的深度值推导表达式为：式中，x和x分别为空间中的一点P投影在左右相机的图像中的横坐标，z是双目相机距离矸石的深度值；x为双目相机的一侧投影到平面的点到矸石的距离；lri依据深度值的推导表达式整理得到深度值为：由双目立体匹配得到的视差图得到视差为：d＝x-x (4)ilr利用视差d确定物体的深度z；ii已知双目相机固定在抛矸皮带机抛落区上方，测量双目相机距离抛落区的高度h，计算出单个矸石的实际高度H：1iH＝h-z (5)i1i抛矸皮带机上矸石区域的预测体积计算公式如下：V＝S×H (6)iii步骤三、建立非线性回归模型修正矸石预测体积，包括：使用电子天平测量每个矸石的质量M，结合单个矸石的近似面积S、矸石高度H和近似体积V，由质量体积公式计算单个矸石的实际体积作为样本数据集；ρ为矸石的密度；iiii选择单个矸石的近似面积S、近似高度H和近似体积V作为输入特征，将单个矸石的实际体积作为目标变量，得到训练好的非线性回归模型：iii式中，a、b、c为各项系数，n、n、n为各项指数，e为常数项；111123给定单个矸石的近似面积、近似高度和近似体积，通过输入到训练好的非线性回归模型，得到单个矸石的预测体积V′；i步骤四、根据单个矸石的预测体积V′和矸石的密度ρ计算单个矸石的质量，并确定采样区域矸石总质量；i单个矸石的质量计算公式为：M′＝ρ×V′ (8)ii通过计算T时间内双目相机拍摄到的采样区域矸石总质量，计算公式为：其中，M为充入矸石质量，n为双目相机采样区域内的矸石数目；步骤五、基于步骤四确定的矸石总质量，结合已采工作面的采高、采空区长度、工作面长度和矸石密度，动态测量矸石充入采空区时的充实率，直到满足最小充实率的要求，夯实机停止对充填材料进行夯实；充实率计算公式如下：其中，为充实率；h为采高，h为等价采高；12由体积公式得到h与充入矸石质量M、采空区长度L、工作面长度L的关系表达式：12整理式(11)后，得到充实率与充入矸石质量M的关系表达式：