一种基于LoRA嵌入的指令数据挖掘方法和系统

摘要文本

一种基于LoRA嵌入的指令数据挖掘方法和系统，涉及指令数据挖掘领域。解决了常见的通过模型生成的指令数据往往重复性较高，类似的指令数据反复出现，数据集同质化和冗余的情况较为普遍的问题。所述方法包括：采用LoRA的方式对ShareGPT数据集进行训练，获取所述ShareGPT数据集中指令数据的嵌入表示；通过UMAP算法对所述嵌入表示进行降维，获取每个指令在三维空间中的表示；根据最小化指令数据在三维空间中的密度对每个指令表示进行筛选，获取多样性增强的数据子集。本发明应用于人工神经网络训练领域。