基于多分支结构的人体跌倒检测方法、装置及系统

专利主权项内容

1.一种基于多分支结构的人体跌倒检测方法，其特征在于，所述方法包括如下步骤：S100：采集作业现场图像；S200：对所采集的图像进行预处理；S300：构建人体姿态估计模型并训练；其中，所述人体姿态估计模型采用高像素特征分支和低像素特征分支并列的多分支结构，通过融合不同分辨率的特征提高模型的位置敏感性和位置不变性；所述人体姿态估计模型包括依次连接的四个部分，第一部分包括一个分支；第二部分包括两个分支；第三部分包括三个分支；第四部分包括三个分支；其中，第一部分包括一个分支，分辨率为，通道数为48；第二部分包括两个分支，分辨率分别为/>、/>，通道数分别为48、96；第三部分包括三个分支，分辨率分别为/>、/>、/>，通道数分别为48、96、192；第四部分包括三个分支，分辨率分别为/>、/>、/>、，通道数分别为48、96、192、384；第一部分通过使用Bottleneck模块进行特征提取，Bottleneck模块包括3个卷积层，第一和第三个卷积层均为1*1卷积，用于改变通道数；第二个卷积层为3*3卷积，该层的输入和输出的通道数相同；第三个卷积层的输出的通道数为输入的4倍；第二部分通过使用深度可分离卷积和多分支残差模块对第一部分的输出特征进一步提取；第二部分的第一分支与第二分支的输出特征除输入第三部分中的对应分辨率分支外，还分别通过下采样和上采样输入第三部分的第二分支和第一分支，使得不同分辨率下的特征能够相互融合，进而使得第三部分的每个分支都含有第二部分中高、低分辨率下提取的特征；第二部分中的深度可分离卷积包括依次连接的四个部分，第一部分包括输入层，输入维度为3×512×256的图像；第二部分包括一个深度卷积层、一个卷积层、一个批量归一化层BN和一个Prelu激活函数；第三部分包括一个深度卷积层、一个/>卷积层、一个批量归一化层BN和一个Prelu激活函数；第四部分包括一个深度卷积层、一个/>卷积层和一个批量归一化层BN；第三部分的第一分支的输出经两次下采样后分别输入第四部分的第二和第三分支，第三部分的第三分支的输出经两次上采样后分别输入第四部分的第一和第二分支，每一次上采样或下采样操作都进行了特征的交换融合；第四部分将四个不同分辨率分支的输出特征共同上采样到相同的分辨率，然后通过元素相加得到最终的输出；所述人体姿态估计模型通过以下步骤进行训练：S301：获取多张包括人体的作业现场图像并进行预处理，对预处理后的图像中的人体关键点信息进行标注，将标注后的图像划分为训练集和测试集；S302：设置训练参数，利用训练集对人体姿态估计模型进行训练，当达到预设训练次数，模型训练完成；S303：利用测试集对训练后的人体姿态估计模型进行测试，在测试过程中，当识别精度达到90%或以上且模型运行速度小于2秒，模型测试通过；否则调整训练参数重新对模型进行训练，直至模型测试通过；S400：基于训练好的人体姿态估计模型获取预处理后的图像中的人体关键点信息；S500：构建人体跌倒检测模型并训练；其中，所述人体跌倒检测模型通过引入空间图卷积层和时间图卷积层以对人体是否跌倒进行综合判断；所述人体跌倒检测模型还引入了注意力机制模块，通过跨通道交互以提高通道注意力；所述人体跌倒检测模型包括输入部分、跌倒检测部分和输出部分；输入部分将各个骨架关键点不同时间帧内的位置特征进行归一化，使得每批多帧人体关键点由随机分布归一化变为同分布；跌倒检测部分包括依次连接的空间图卷积层、Relu激活函数层、批归一化层BatchNorm、注意力机制层、时间图卷积层、Relu激活函数层和BatchNorm层；所述注意力机制层包括全局平均池化层、感受野为k的一维卷积和sigmoid激活函数；输出部分包括平均池化层、全连接层和多分类函数；所述人体跌倒检测模型通过以下步骤进行训练：S501：获取包括人体跌倒后的人体关键点信息数据集，将数据集划分为训练集和测试集；S502：设置训练参数，将学习率设置为0.001，步长stride设置为20，训练次数设置为300次，利用训练集对人体跌倒检测模型进行训练，当达到预设训练次数，模型训练完成；S503：利用测试集对训练后的人体跌倒检测模型进行测试，在测试过程中，当识别精度达到90%或以上且模型运行速度小于2秒，测试通过；否则调整训练参数重新对模型进行训练，直至模型测试通过；S600：将所述人体关键点信息输入训练好的人体跌倒检测模型，以对人体是否跌倒进行检测。