← 返回列表
一种基于大数据采集分析的数据中台系统
摘要文本
本发明公开了一种基于大数据采集分析的数据中台系统，设计数据通信处理领域；包括：数据采集模块，其连接于多个“孤岛”数据库，并采集“孤岛”数据库的数据信息；数据清洗模块，其用于对数据采集模块采集的数据进行清洗；数据整合模块，用于清洗后的多源数据进行整合；服务器，其用于对整合后数据进行储存。本发明通过对异常数据进行分析，然后再采用逐级缩小范围的形式匹配其原本所属的项目类型中，其可以自动匹配，也可以人工参与填充，从而可保证整合时的数据完整性对于整合后的数据采用随机法提取，然后双向验证的形式进行数据准确性检验，从而可保证整合数据的精确度，另外在检验出现遗漏时，还可对遗漏进行自动填充，进一步增加精度。
申请人信息
- 申请人:杭州数亮科技股份有限公司
- 申请人地址:310051 浙江省杭州市滨江区长河街道江虹路768号5号楼23层(自主申报)
- 发明人: 杭州数亮科技股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于大数据采集分析的数据中台系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311356968.3 |
| 申请日 | 2023/10/19 |
| 公告号 | CN117370325A |
| 公开日 | 2024/1/9 |
| IPC主分类号 | G06F16/215 |
| 权利人 | 杭州数亮科技股份有限公司 |
| 发明人 | 蒋剑辉; 戴子君 |
| 地址 | 浙江省杭州市滨江区长河街道江虹路768号5号楼23层(自主申报) |
专利主权项内容
1.一种基于大数据采集分析的数据中台系统，其特征在于，其包括：数据采集模块，其连接于多个“孤岛”数据库，并采集“孤岛”数据库的数据信息；数据清洗模块，其用于对数据采集模块采集的数据进行清洗；数据整合模块，用于清洗后的多源数据进行整合；服务器，其用于对整合后数据进行储存；所述数据中台系统的工作逻辑如下：S1：数据采集模块从多个“孤岛”数据库采集数据信息；S2：数据清洗模块对采集到的数据进行清洗，将清洗保存的数据作为标准数据，清洗下的作为异常数据；S3：数据整合模块首先将标准数据进行整合，形成融合数据包，然后对异常数据进行分析，对异常数据进行二次整合，整合至融合数据包内；S4：随后将整合后的融合数据包上传至服务器进行储存。