一种手写公式识别方法、系统、电子设备和存储介质

专利主权项内容

1.一种手写公式识别方法，其特征在于，包括如下步骤：获取手写公式图像，并将所述手写公式图像编码为特征图，对特征图中的特征向量进行二维位置编码得到位置编码，将所述位置编码与特征向量相加得到特征图像编码；使用半自回归树解码器对手写公式对应的字符布局树进行解码，采用自回归的方式逐层预测字符布局树中的结点，采用非自回归的方式生成同一层内全部的字符结点，同时得到字符布局树的字符节点间关系，并将字符节点间关系引入到解码器模型中，通过计算得到解码器模型的交叉熵损失函数；通过构造字符布局树的全局掩码生成任务、正向生成任务和反向生成任务，计算辅助训练任务损失函数；将辅助训练任务损失函数与解码器模型的交叉熵损失函数结合，得到解码器模型的总损失函数，使用优化器对解码器模型进行训练，直到解码器模型的总损失函数收敛，得到训练完成的解码器模型。