← 返回列表
一种数据融合方法与系统
申请人信息
- 申请人:苏州元澄科技股份有限公司
- 申请人地址:215000 江苏省苏州市姑苏区解放东路555号桐泾商务广场2幢1301室
- 发明人: 苏州元澄科技股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种数据融合方法与系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410026687.X |
| 申请日 | 2024/1/9 |
| 公告号 | CN117540343A |
| 公开日 | 2024/2/9 |
| IPC主分类号 | G06F18/25 |
| 权利人 | 苏州元澄科技股份有限公司 |
| 发明人 | 叶士飞; 沈鸣飞; 何亮; 刘少梁; 蒋晓军 |
| 地址 | 江苏省苏州市姑苏区解放东路555号桐泾商务广场2幢1301室 |
摘要文本
本发明公开了一种数据融合方法与系统，包括步骤接入数据源、数据表创建、数据抽取、数据处理、数据导入、数据融合；涉及数据融合技术领域，通过可以将业务系统中的数据提取并进行处理，最终生成对业务实际有用的数据；该流程具有高效、准确和可靠的特点，能够满足大数据量下的数据处理需求，通过在数据融合之前，提前进行数据切片，可以获取数据的子集，从而更方便地针对特定数据进行详细分析和处理，这有助于减少数据分析的工作量，提高效率，通过Spark数据实时处理框架和DataFrame API技术，将中心前置机的数据抽取到标准库中，并对数据进行预处理，不仅可以提高数据处理的效率，也可以提高数据分析的准确性。。
专利主权项内容
1.一种数据融合方法，其特征在于，包括以下步骤：第一步、将业务系统的数据源1、数据源2、数据源3、...数据源N接入中心前置机，且中心前置机依据数据源创建数据纳入表，同时将数据纳入表与各个数据源之间建立映射关系；第二步、将各个数据源中对应的业务数据抽取至数据纳入表的对应位置，同时依据各个数据源中业务数据的生成和更新规律，将业务系统中新增的业务数据抽取到中心前置机的数据纳入表中；第三步、对数据纳入表中的业务数据进行标准化转换、检查修正以及缺失信息填充处理，接着将预处理后的业务数据抽取至标准库中；其中，标准化转换为通过预训练标准转换字典将业务数据转换为标准的数据，检查修正通过DataFrame API技术实现，缺失信息填充为依据预先指定的唯一识别码，提取缺失内容对应的信息并填入；第四步、将中心前置机中经过数据处理后的业务数据对应的数据纳入表储存至标准储存库，依据数据提取者的业务数据提取需求，从标准储存库中提取各个数据处理后的业务数据至融合库，并进行融合，随之生成数据融合提取表。