一种基于CV的肢体运动训练指导方法及系统

专利主权项内容

1.一种基于CV的肢体运动训练指导方法，其特征在于：该方法包括以下步骤：步骤S1：采集雷达回波信号，通过雷达发射设备发射啁啾信号、雷达接收天线采集雷达回波信号，实时检测和跟踪患者的肢体运动训练；步骤S2：提取标准姿势节点，采集康复运动训练的官方标准姿势，生成标准姿势节点；步骤S3：处理雷达回波信号，生成3D热力图；步骤S4：动作捕捉，建立并训练CNN模型，将3D热力图输入到CNN模型，输出病患关节节点；步骤S5：姿势评估，将标准姿势节点和病患关节节点进行对比，输出相似度评分；步骤S6：训练指导，根据相似度评分，确定患者的肢体运动训练与标准的康复运动训练的差距，制定个性化的康复运动训练计划，指导患者进行正确的肢体运动训练；在步骤S3中，所述处理雷达回波信号，生成3D热力图，包括以下步骤：步骤S31：雷达回波信号包含代表反射面意义的运动参考节点的信息，计算运动参考节点的距离分辨率，公式如下：
；式中，是距离分辨率，/>是光速常量，/>是扫描带宽；步骤S32：计算运动参考节点的速度分辨率，公式如下：
；式中，是速度分辨率，/>是波长，/>是一个相干处理的采样间隔；步骤S33：采用时分多路复用技术和多输入多输出技术，确定运动参考节点的角度；步骤S34：计算第个雷达接收天线接收到的逐级回波的相位项，公式如下：
；式中，是第/>个雷达接收天线接收到的逐级回波的相位项，/>是两个连续雷达接收天线之间避免光栅瓣效应的距离，/>是运动参考节点的角度的正弦，/>是雷达接收天线的下标；步骤S35：三维XYZ空间由运动范围YZ平面、深度方位角XY平面、深度仰角XZ平面组成，将每个运动参考节点映射到三维XYZ空间中的每个点云上，引入运动参考节点的反射功率作为点云的附加特征，反射功率的计算公式如下：
；式中，是反射功率，/>是归一化接收信号幅度，/>是初始距离；步骤S36：染色，每个点云的颜色属性，即RGB通道，由R通道、G通道、B通道组成，使用RGB加权像素值为每个点云染色，获得3D热力图；在步骤S4中，所述动作捕捉，建立并训练CNN模型，将3D热力图输入到CNN模型，输出病患关节节点，包括以下步骤：步骤S41：将点云投射到深度方位角XY平面上，每个点云的R通道、G通道、B通道分别表示x坐标、y坐标、反射功率，生成深度方位角XY平面的RGB图像；步骤S42：将点云投射到深度仰角XZ平面上，每个点云的R通道、G通道、B通道分别表示x坐标、z坐标、反射功率，生成深度仰角XZ平面的RGB图像；步骤S43：将未检测的点云的RGB通道设置为全0；步骤S44：计算CNN模型输入数据的维度，即投影到深度方位角XY平面的RGB图像和投影到深度仰角XZ平面的RGB图像的维度，公式如下：
；式中，是输入数据的维度，/>是雷达提供的最大明确深度，/>是方位角，/>是雷达提供的仰角，/>是雷达/>轴方向上的分辨率，/>是雷达/>轴方向上的分辨率，/>是雷达/>轴方向上的分辨率；步骤S45：构建并训练CNN模型，CNN模型包括输入层、输出层和隐藏层，隐藏层的第一卷积层深度为16、第二卷积层深度为32、第三卷积层深度为64，过滤器大小设置为，步幅为1，神经元节点使用ReLU激活，drop-out设置为百分之二十，输出层由/>个节点组成，对应于25个病患关节节点，使用均方误差MSE作为损失函数，采用梯度下降算法，使用Adam优化器进行训练；步骤S46：将深度方位角XY平面的RGB图像和深度仰角XZ平面的RGB图像传入CNN模型，输出25个病患关节节点；在步骤S5中，所述姿势评估，将标准姿势节点和病患关节节点进行对比，输出相似度评分，包括以下步骤：步骤S51：预定义，定义病患关节节点为测试图，定义标准姿势节点为参考图，定义测试图的节点集合为，定义参考图的节点集合为/>，预设最小相似度评分为/>，预设最大迭代次数为/>，设置迭代次数初始值为0，初始化预设阈值为/>；步骤S52：迭代次数自增，公式如下：
；式中，是迭代次数；步骤S53：计算和/>中所有节点间的水平距离度量，公式如下：
；
；式中，是/>中第/>个节点，/>是/>中第/>个节点，A是计算中间变量，/>是/>和/>的水平距离度量，/>、/>、/>分别是在0和1之间用于平衡节点深度，分支长度和分支方向的调整参数，/>是括号中节点到达根节点的最小边数，/>是求绝对值，/>是括号中变量的最小值，k是祖先节点的阶数，/>是k遍历0至的累计和，/>是/>的第/>个祖先到第/>个祖先的距离，/>是的第/>个祖先到第/>个祖先的距离，/>是/>的第/>个祖先到第/>个祖先的方向，/>是/>的第/>个祖先到第/>个祖先的方向；步骤S54：自由节点是还没有链接的节点，采用Munkres分配，根据水平距离度量，对和/>的自由节点进行配对，建立链接；步骤S55：计算一致性评分，公式如下：
；
；
；式中，是/>和/>之间的链接，/>是/>的一致性评分，/>是该节点的父节点，/>是该节点的孩子节点，/>是该节点的兄弟节点，/>是求集合中所含节点的数量，/>、/>、/>为可调参数，/>是/>的因式，/>是/>的因式，/>是指标函数，/>表示两个节点之间存在链接，/>是取括号中所有变量的最大值，/>表示遍历所有属于/>孩子节点的节点、所有属于/>孩子节点的节点/>时的累计和，/>表示遍历所有属于/>兄弟节点的节点/>、所有属于/>兄弟节点的节点/>时的累计和；步骤S56：将一致性评分低于的链接断开，并以/>的概率将高于/>的链接断开，断开链接两端的节点成为自由节点，所用公式如下：
；式中，是链接断开的概率；步骤S57：计算匹配率，公式如下：
；式中，是一致性评分高于/>的节点的链接比例，即匹配率，/>是所有已经建立的链接，/>是所有已经建立的链接的总数，/>是/>中节点的总数，/>是/>中节点的总数；步骤S58：计算相似度评分：
；式中，是相似度评分，/>是/>和/>的水平距离度量， />是遍历和/>间所有链接的累计和；步骤S59：如果≥/>或/>或/>或/>在连续迭代中没有明显变化，则输出相似度评分，否则重复步骤S52至步骤S58。