← 返回列表

一种用于智能化管理焊机的图像处理系统和处理方法

申请号: CN202311731420.2
申请人: 浙江大学台州研究院; 武义县泉城数据资源发展有限公司; 杭州峰景科技有限公司; 广视三信(台州)信息技术有限公司; 杭州三信网络技术有限公司
申请日期: 2023/12/15

摘要文本

本发明公开了一种用于智能化管理焊机的图像处理系统和处理方法, 用于管理车间内的所有焊机,包括控制器、服务器、人脸图像识别模块、RFID识别模块、监控摄像模块、语音广播模块和人机交互界面,语音广播模块和监控摄像模块分别与服务器连接,语音广播模块、监控摄像模块、控制器和服务器之间进行组网,本发明在焊机的各个阶段通过图像处理系统采集焊机图像,通过对各阶段图像的处理获得焊机运行状态以及人员的状态,控制器根据图像处理结果自动控制各模块的运行,从而实现对焊机的智能化管理。 关注公众号马克数据网

专利详细信息

项目 内容
专利名称 一种用于智能化管理焊机的图像处理系统和处理方法
专利类型 发明授权
申请号 CN202311731420.2
申请日 2023/12/15
公告号 CN117424988B
公开日 2024/3/15
IPC主分类号 H04N7/18
权利人 浙江大学台州研究院; 武义县泉城数据资源发展有限公司; 杭州峰景科技有限公司; 广视三信(台州)信息技术有限公司; 杭州三信网络技术有限公司
发明人 江波; 陈浙泊; 俞国斌; 廖志明; 楼子昂; 余建安; 王炜; 郑赛; 于晓鹏; 潘凌锋; 陈龙威; 陈一信
地址 浙江省台州市市府大道西段618号; ; 浙江省杭州市钱塘区白杨街道24号大街873号1号楼2701-2705室; 浙江省台州市台州湾新区东部新区甲南大道东段9号台州湾新区行政服务中心1061室(自主申报、仅限办公); 浙江省杭州市西湖区西溪街道文二路195号

专利主权项内容

1.一种用于智能化管理焊机的图像处理方法,其特征在于:包括以下步骤:步骤1:背景初始化;步骤2:车间入口的图像采集模块采集待进入车间人员进出卡的卡图像,人脸图像识别模块采集待进入车间人员的人脸图像,人员进入车间身份识别模块对卡图像和人脸图像进行处理,判断待进入的人员是否为该车间允许的人员,若是,车间入口闸门打开,执行步骤3,若否,语音广播报警,提示有非法人员进入;步骤3:根据步骤2获取人员的编号、焊机编号、焊机工作区域的编号和工作摄像模块的编号,控制器控制该编号的焊机上电开机,开机信息读取模块将服务器存储的信息进行内部比对以及将服务器和控制器存储的信息进行比对,判断比对是否异常,若异常,语音广播模块报警,提示信息异常,进入待机模式,若不异常,执行步骤4;步骤4:启动对应编号的工作摄像模块,工作摄像模块采集当前焊机工作区域图像,将其记为第一图像;提取服务器中该编号的工作摄像模块采集的初始图像,初始图像为工作摄像模块采集无操作人员时的焊机工作区域图像,人员判断模块对第一图像和初始对象进行处理,判断操作人员是否进入焊机工作区域,若是,执行步骤5,若否,语音广播报警,提示操作人员进入焊机工作区域,进入待机模式;步骤5:工作摄像模块动态采集焊机工作区域的环境图像,场景摄像模块动态采集安全人行道区域的环境图像,环境监测模块对环境图像进行图像处理,判断环境是否异常,若是,语音广播模块报警,进入待机模式,若否,执行步骤6;步骤6:选择操作模式,操作模式包括信息录入模式、运行模式和关机/待机模式,若选择信息录入模式,执行信息录入流程,若选择运行模式,执行步骤7,若选择关机/待机模式,进入待机模式或关机模式;步骤7:工作摄像模块采集焊机工作区域的图像,人员监测模块执行人员监测流程,通过对图像进行处理,判断操作人员行为是否异常,若是,进入待机模式,若否,执行步骤8;步骤8:工作摄像模块采集当前焊机工作区域图像,人员离岗判断模块执行人员离岗判断流程,通过对图像进行处理,判断操作人员离岗是否超时并进入待机模式,若是,执行步骤9,若否,执行步骤7;步骤9:场景摄像模块采集安全人行道区域的图像,场景监测模块执行场景监测流程,通过处理图像对目标进行跟踪,判断操作人员是否离开车间并通过语音广播模块报警进行提示,若是,执行步骤11;若否,执行人员判断流程;步骤10:判断离岗的操作人员是否进入焊机工作区域,若是执行步骤7,若否,执行步骤9;步骤11:判断进入关机模式或者待机模式,若是关机模式,执行关机流程,通过人脸图像识别模块识别关机人员是否为操作人员,若是待机模式,执行待机流程,通过人脸图像识别模块识别待机人员是否为操作人员;步骤12:结束步骤;所述步骤9中场景监测模块通过多相机联动监测目标是否在车间,场景监测模块通过位置敏感度、空间注意力、时间注意力调用场景摄像模块,用于监测操作人员是否在车间,具体包括以下步骤:步骤9.1:设定场景摄像模块位置敏感度排序权重;设定操作人员向各焊机工作区域移动的概率为上式中θ为操作人员和各焊机工作区域之间的连线与操作人员速度方向的夹角,k为焊机工作区域的序号,k=1...U,U为焊机工作区域的总数;k步骤9.2:设定场景摄像模块空间观测注意力权重;上式中W为t时刻空间观测注意力权重,D为t时刻操作人员与各场景摄像模块的距离值,itit步骤9.3:设定场景摄像模块时间观测注意力权重;上式中,T为t时刻时间观测注意力权重,v为操作人员的速度,P为在t时刻图像中操作人员的位置与P为在t-△t时刻图像中操作人员的位置,△t为时间差;itttt-△t步骤9.4:预估操作人员的位置;操作人员离开焊机工作区域后,确定操作人员速度方向,设定操作人员向车间入口移动为负,操作人员向车间出口移动为正;更新θ和W;kit设定操作人员在t+1时刻图像的预估位置为步骤9.5:根据预估的操作人员位置得到车间空间坐标系下的坐标,根据各焊机工作区域在车间空间坐标系下的坐标,以及操作人员向各焊机工作区域移动的概率/>获得操作人员在t+1时刻的目标焊机工作区域P0;步骤9.6:根据目标焊机工作区域P0,根据权重P打开场景摄像模块;X以目标焊机工作区域P0为中心,与各场景摄像模块Ci的距离为设定各场景摄像模块的拍摄权重为P,X上式中Z为目标焊机工作区域相关的若干场景摄像模块的总数,Z为设定值,i=1...Z。 马 克 数 据 网