基于边框聚类的表格结构识别方法、设备及存储介质

专利主权项内容

1.一种基于边框聚类的表格结构识别方法，其特征在于，所述表格识别结构方法的实现过程包括以下步骤：S10.表格检测：训练四边形目标检测模型，用于检测待识别图片中的表格的四个顶点；使用四边形目标检测模型检测待识别图片，获取图片中表格区域的四个顶点points0；S20.表格形变矫正处理：将步骤S10获得的四个顶点points0，计算转正后的表格的四个顶点points1，并计算points0到points1的透视变换矩阵M；使用透视变换矩阵M对待识别图片进行透视变换，获得形变表格矫正后的矫正图片；S30.表格单元格检测：训练单元格检测模型；将矫正图片输入单元格检测模型，获得当前表格中所有单元格的模型检测框model_boxes；S40.边框聚类处理：获取所有单元格的模型检测框的行边框坐标集合border_y_list以及列边框坐标集合border_x_list，设置边框聚类阈值threshold；分别对行边框坐标集合border_y_list、列边框坐标集合border_x_list中各元素进行遍历及处理，获得存放有对border_y_list、border_x_list进行边框聚类处理之后的坐标列表的集合borders；将集合borders重新赋值给对应当前操作的行边框坐标列表border_y_list或列边框坐标列表border_x_list，获得边框聚类后的坐标集合border_y_list、border_x_list；S50.边框组合最小单元格处理：获取步骤S40得到的坐标集合border_y_list、border_x_list，得到表格的行数和列数；将表格中各行的行号、各列的列号分别放置在行集合rows、列集合cols中，并设置用于存放最小单元格坐标信息的空集合mini_cells；按顺序遍历行集合的每一个行元素、列集合中的每一个列元素，通过行元素、列元素定位至坐标集合中的对应元素来获得最小单元格的矩形框坐标；将矩形框坐标信息存放至集合mini_cells，形成最小单元格集合；S60.最小单元格与模型检测框交集计算：计算最小单元格集合mini_cells中每一个单元格的面积，获得对应的面积集合area_cells；定义空集合inds_list, 该集合配置为存放最小单元格集合mini_cells中的每一项与模型检测框model_boxes的最大交集索引；定义空集合cells_intersection，该集合配置为存放最小单元格集合mini_cells中的每一项与模型检测框model_boxes的每一项的交集；依次遍历最小单元格集合中的每一个最小单元格，计算当前最小单元格与模型检测框model_boxes每一项的交集，得到一个交集集合intersection，并将其存放至集合cells_intersection；获取交集集合intersection中的最大值的索引，并将其存放至集合inds_list；S70.获取表格行列处理：预先设置最小单元格交集比重阈值intersection_ratio，并定义长度为N的集合model_boxes_include_cells，其中N为集合model_boxes的长度；对集合model_boxes_include_cells进行处理，获得存储有表格结构信息的模型检测框关联最小单元格集合cell2rowcol，以及最小单元格反向关联模型检测框rowcol2cell；S80.对齐表格坐标信息处理：定义空集合last_cell_results，该集合配置为存放最终的表格结构与单元格坐标位置信息；对模型检测框进行对齐处理，并对模型检测框检测不到的单元格进行补齐处理；将进行对齐处理和补齐处理后的表格结构和单元格坐标位置信息存放至集合last_cell_results；S90.坐标变换至原图处理：使用透视变换矩阵M计算透视变换逆矩阵inv_M，对集合last_cell_results中每一个元素的坐标使用透视变换逆矩阵inv_M将当前单元格坐标变换到原图坐标，变换后的集合last_cell_results为待识别图片上的表格结构。