跨模态目标状态的检测方法、设备、智能设备和介质

专利主权项内容

1.一种跨模态目标状态的检测方法，其特征在于，包括：从初始目标检测序列中进行采样，得到采样的目标检测序列；所述采样的目标检测序列至少包括第一序列和第二序列；所述第一序列为基于第一模态数据的目标检测结果，以第一采样频率获取的时帧序列；所述第二序列为基于第二模态数据的目标检测结果，以第二采样频率获取的时帧序列；所述采样的目标检测序列包括所述初始目标检测序列中的当前时帧和多个历史时帧；对每个当前目标和每个第一历史目标进行特征提取，得到所述当前目标的第一特征信息和所述第一历史目标的历史特征信息；其中，所述当前目标为所述当前时帧的内的目标；所述第一历史目标为每个所述历史时帧的内的目标；基于所述第一特征信息和所述第一历史目标的历史特征信息，得到所述当前目标的第二特征信息；将所述第二特征信息输入预先训练的状态预测网络，得到所述当前目标的状态信息；其中，所述状态信息包括速度信息和/或朝向信息；所述状态预测网络基于防状态突变约束条件下进行训练得到；其中，所述防状态突变约束条件包括抑制目标位置突变的约束条件、抑制目标运动量突变的约束条件和抑制目标朝向突变约束条件中的至少一种；所述状态预测网络基于防状态突变约束条件下进行训练得到，包括：在利用训练数据对待训练网络进行训练过程中，利用网络更新参数对所述待训练网络进行参数更新，直到满足停止训练条件，得到所述状态预测网络；其中，所述网络更新参数按照如下方式获得：根据所述抑制目标位置突变的约束条件和每次训练的训练结果，得到第一网络更新参数；和/或，根据所述抑制目标运动量突变的约束条件和每次训练的训练结果得到第二网络更新参数；和/或，根据所述抑制目标朝向突变的约束条件和每次训练的训练结果得到第三网络更新参数；根据所述第一网络更新参数、第二网络更新参数和第三网络更新参数中的至少一种，得到所述网络更新参数。