一种自动化的卡证结构化信息抽取技术方法

专利主权项内容

1.一种自动化的卡证结构化信息抽取技术方法，其特征在于，将卡证图片输入卡证结构化信息抽取模型中，根据输入的提示词得到卡证相关信息，所述卡证结构化信息抽取模型的训练方法包括如下步骤：S1、定义不同的卡证图片结构、定义输入提示词；S2、根据定义的卡证图片结构及输入提示词定义输出形式；S3、根据获取的卡证图片对卡证图片中每个词语的位置进行坐标的标注，根据词语的位置得到该词语中字符的坐标位置，得到待训练卡证结构化信息抽取模型；S4、将训练图片输入模型，根据提示词来输出结果，所述训练图片包括卡证的原图以及卡证字符被遮挡后的图片；当训练图片为卡证字符被遮挡后的图片，训练时将被遮挡的字符替换成自定义字符，其他标注的标签不变，根据提示词得到输出结果；训练时输入有随机字符遮挡的图片，以及对应各提示词的标签进行训练；得到最终卡证结构化信息抽取模型；所述卡证图片结构包括文本的行数、每行的词语数及每个词语的字符数，所述卡证图片结构为xml结构形式，采用xml的形式表示；所述输出形式包括输出对应字符位置信息、输出对应词语位置信息、输出识别得到的字符信息、识别得到的词语信息、输出提取的结构化信息、输出图像结构或输出提示词不存在；所述步骤S3中根据词语的位置得到该词语中字符的位置具体为，该词语中字符的位置根据如下公式计算得到：
，
，其中，设某词语的位置为(x1，y1，x2，y2)，x1，y1代表左上角的坐标，x2，y2为右下角的坐标，n为组成该词语的字符数，k为该词语中的第k个字符，根据如上公式计算得到该词语中第k个字符的位置(kx1，ky1，kx2，ky2)；对kx1、ky1、kx2和ky2的任一项坐标值增加噪声因子得到最终第k个字符位置为(kx1+α，ky1，kx2，ky2)、(kx1，ky1+α，kx2，ky2)、(kx1，ky1，kx2+α，ky2)或(kx1，ky1，kx2，ky2+α)，α为噪声因子；当对kx1或kx2增加噪声因子时，噪声因子满足如下条件：α＜1/6·(kx2- kx1)；α＜1/6·(ky2- ky1)；所述卡证结构化信息抽取模型包括编码器和解码器，构建卡证结构化信息抽取模型时，将编码器结果以及提示词输入解码器中，训练时解码器根据提示词输出相应的结果；卡证结构化信息抽取模型中图像的处理方法为：将图片分成固定大小的多块图片，经过线性变换再加上图像的位置编码，作为编码器模块的输入，编码器处理后输出处理后的图片。