基于卷积稀疏编码和最优传输的多模态数据整合方法

专利主权项内容

1.基于卷积稀疏编码和最优传输的多模态数据整合方法，其特征在于：包括以下步骤：1)获取多模态训练数据：用户从本地选择训练所用的多模态数据集，读取两个数据集Data X和Data Y以及相关的元数据信息；并且随机采样数据，包括样本的随机采样、使用主成分分析特征降维以及对标签进行处理；然后数据预处理，包括对数据的标准化和缺失值处理，得到两个模态的输入特征Modality X和Modality Y；2)构建模型：使用CSC层分别学习两个模态的潜在表示，捕捉多模态数据内部关键结构和特征，经过CSC的内部迭代更新，将输出结果传入前馈神经网络后，再输入到全连接层以得到均值和方差；基于此进行分布采样，并利用高斯噪声模拟采样效果，得到两个相似的潜在空间，通过相关矩阵对齐两个多模态潜在空间；在对齐点处对两个潜在空间线性组合，得到聚合的潜在空间；在学习潜在空间时，使用最优传输使得生成潜在空间分布逼近标准正态分布，以此构建出基于CSC和最优传输理论的聚合方法；通过不断迭代学习，当损失函数的值收敛到最小时，保存该模型；3)根据聚合的信息进行分类：载入已经训练好的模型，并训练K最近邻分类器，用于对测试数据分类，检测模型效果，用户根据自己的数据特性，调节网络参数，以达到最佳检测效果。