一种自动石材排料方法、装置、电子设备和可读存储介质

专利主权项内容

1.一种基于图像与深度强化学习的自动石材排料方法，其特征在于，包括以下步骤：(1)搭建石材排料仿真环境，并根据零件位置必须在原料内部、零件之间不可重叠、最大化原料利用率的规则设计相应的动作空间和回报函数；(2)构建包括Actor-Critic网络的PPO-Clip算法模型，基于石材排料仿真环境、动作空间和回报函数，使用Actor-Critic算法同时训练Actor和Critic两个神经网络；Actor网络输入当前状态s，包括：原料信息与待排零件信息，输出a为零件的编号、位移和旋转角度；通过策略函数表示给定输入状态s的情况下输出a的概率；Critic网络，根据Actor网络的动作评价策略的价值，并反馈给Actor网络；Actor网络和 Critic网络采取相同卷积网络结构：第一层卷积层输入为当前状态下零件图像与原料图像经过预处理得到的图像，设置输出通道数、卷积核大小为和步长；最大池化；分别设置多层卷积层的输入通道数、输出通道数、卷积核大小和步长；最大池化；将其展开成一维，使用SPP层；最后经过全连接层输出；Actor网络输出为当前状态下采取的动作，Critic网络输出为采取动作后得到的回报大小；PPO-Clip算法定义的Actor-Critic网络损失函数如下：
；其中为新旧策略之比；/>为优势函数，即动作价值函数与策略价值函数之差；/>为剪裁函数，/>为超参数：；
为第k次网络参数；/>为更新的网络参数；/>为新策略；/>为旧策略；为动作价值函数，/>为状态价值函数；/>是函数自变量；(3)基于训练所得到的模型，根据新石材零件制作订单，将新石材零件制作订单对应的零件图像与原料图像经过预处理得到的图像作为网络的输入，输出排放零件的动作指令，完成在出现新石材零件制作订单下的自动排料任务。