基于具身智能的零件分拣处理方法、装置、设备及介质

专利主权项内容

1.一种基于具身智能的零件分拣处理方法，其特征在于，所述方法包括：接收用户输入的零件分拣描述信息，所述零件分拣描述信息中包括对待分拣零件的特征描述以及分拣需求描述；根据所述零件分拣描述信息，采用任务指令理解模型进行分析处理，得到控制机械臂对待分拣零件进行分拣的控制信号，所述任务指令理解模型是基于大语言模型预先训练的从本文中提取出分拣需求、并基于所述分拣需求生成分拣控制信号的神经网络模型；根据所述控制信号，采用零件智能感知模型对工业相机采集的待分拣零件的图像进行分析处理，得到所述待分拣零件的类别以及抓取位姿，所述智能感知模型为预先训练的基于图像识别分析确定零件类别以及抓取位姿的神经网络模型；根据所述控制信号，所述待分拣零件的类别以及所述抓取位姿，控制机械臂对所述待分拣零件进行分拣，并在分拣过程中通过智能避障神经网络模型进行避障处理。