一种基于大模型的数据协同处理方法及系统
摘要文本
本发明涉及数据处理领域，公开了一种基于大模型的数据协同处理方法及系统，解决了现有的用于数据处理加速器的模糊大模型训练方法无法对训练用数据集进行处理并分析，也无法对处理数据的计算节点进行分析并智能选用，导致训练速度低且难以保证训练结果的准确性和可靠性的问题；该大模型用数据处理方法包括以下模块：数据输入模块、模型训练平台、子集分析模块、计算分析模块、自动分配模块以及结果显示模块；本发明采用分布式计算和数据并行处理技术，能够充分利用计算资源的优势，提高训练效率，而且选用性能好的计算节点进行数据处理，能够提高大模型的数据处理速度，减少数据处理误差，进而能够保证数据处理的准确性和可靠性。
申请人信息
- 申请人:山东博商缘信息科技发展有限公司
- 申请人地址:250000 山东省济南市历城区中国(山东)自由贸易试验区济南片区舜泰广场8号楼西区2509-3室
- 发明人: 山东博商缘信息科技发展有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于大模型的数据协同处理方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410094601.7 |
| 申请日 | 2024/1/24 |
| 公告号 | CN117608866A |
| 公开日 | 2024/2/27 |
| IPC主分类号 | G06F9/50 |
| 权利人 | 山东博商缘信息科技发展有限公司 |
| 发明人 | 曹萍; 张琦; 崔勇雷; 刘大鹏 |
| 地址 | 山东省济南市历城区中国(山东)自由贸易试验区济南片区舜泰广场8号楼西区2509-3室 |
专利主权项内容
1.一种基于大模型的数据协同处理方法，其特征在于，包括以下步骤：步骤S1：用户利用数据输入模块将大模型训练用的数据集进行上传，并将数据集发送至模型训练平台；步骤S2：模型训练平台将数据集分割若干个数据子集，同时生成子集分析指令，并将子集分析指令发送至子集分析模块；步骤S3：子集分析模块接收到子集分析指令后获取数据子集的优先处理参数，优先处理参数包括数容值SR、均时值JT，并将优先处理参数发送至模型训练平台；步骤S4：模型训练平台根据优先处理参数获得优先处理系数YC，并根据优先处理系数YC获得数据子集分配名单，并将数据子集分配名单发送至自动分配模块，同时生成计算分析指令，并将计算分析指令发送至计算分析模块；步骤S5：计算分析模块接收到计算分析指令后获取分析节点i的优先计算参数，优先计算参数包括计算值JH、网速值WS以及存储值CC，并将优先计算参数发送至模型训练平台；步骤S6：模型训练平台根据优先计算参数获得优先计算系数YJi，并根据优先计算系数YJi获得计算节点分配名单，并将计算节点分配名单发送至自动分配模块；步骤S7：自动分配模块根据数据子集分配名单和计算节点分配名单将数据子集和分析节点i进行对应，并利用分析节点i对数据子集进行计算，待每个分析节点i计算完成，将计算结果发送至结果显示模块；步骤S8：结果显示模块将所有的计算结果进行汇合并显示，完成大模型训练。