← 返回列表
一种多模态特征融合和分类的方法
申请人信息
- 申请人:河海大学; 玖壹叁陆零医学科技南京有限公司
- 申请人地址:211100 江苏省南京市江宁开发区佛城西路8号
- 发明人: 河海大学; 玖壹叁陆零医学科技南京有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种多模态特征融合和分类的方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410181868.X |
| 申请日 | 2024/2/19 |
| 公告号 | CN117746518A |
| 公开日 | 2024/3/22 |
| IPC主分类号 | G06V40/70 |
| 权利人 | 河海大学; 玖壹叁陆零医学科技南京有限公司 |
| 发明人 | 黄倩; 谢梦婷; 胡鹤轩; 狄峰; 周晓军; 张丽华 |
| 地址 | 江苏省南京市鼓楼区西康路1号; 江苏省南京市雨花台区宁双路19号云密城5号楼J栋6层601-605室 |
摘要文本
本发明公开了一种多模态特征融合和分类的方法，涉及计算机视觉技术领域，首先，采用中心边界平衡投影来平衡特征类空间的中心和边界信息，减轻噪声数据的负面影响，提高特征融合和分类阶段的兼容性。然后，采用两种方案将每个特定于情态的特征投射到一个语义空间中。根据多模态动作语义特征对样本的标签进行赋值。最后，设计出一种多模态特征融合和分类方法，用于深度视频序列中的行为识别。从而提高特征融合和分类的兼容性，同时也大大提搞了识别准确率。 来自马-克-数-据-官网
专利主权项内容
1.一种多模态特征融合和分类的方法，其特征在于：包括以下步骤：S1、将来自不同模态的原始特征映射到公共语义特征空间中；设表示N个多模型训练样本，每个训练样本包含M个来自不同模态的相同语义的子样本，N和M分别为样本数和模态数；来自M个模态的训练样本数据表示相同的语义，其子样本在公共语义空间中共享相同的语义标记，用y表示；将/>表示为训练样本的语义标记矩阵，其中为K的语义标记向量，C为类数；设表示来自p模态的原始特征矩阵, 其中/>和D是X的特征维数；iithppS2、计算每个特征类空间的高置信中心；S3、使用联合损失函数学习样本类空间的边界和中心信息；S4、多模态局部特征选择，通过分析各模态的语义特征，融合多模态信息进行分类；S5、多模态全局特征选择，通过选择最优的交叉特征组合来融合多模态信息；S6、采用基于半二次最小化的迭代算法计算投影矩阵；S7、在获得投影矩阵后，将测试样本的原始特征矩阵投影到动作语义空间中，得到它们的语义特征矩阵；S8、最终输出测试样本的预测标签。。更多数据：