多源异构数据处理系统
摘要文本
本公开的实施例公开了多源异构数据处理系统。该方法的一具体实施方式包括：获取到多源异构数据集；将数据待处理队列中的每个多源异构数据分配至数据融合处理器组中的数据融合处理器；对接收到的多源异构数据进行数据解析以生成解析后字段信息，得到解析后字段信息集；对解析后字段信息集中的各个解析后字段信息进行数据清洗，得到清洗后字段信息集，将清洗后字段信息集返回至数据分配处理引擎，将接收到的各个清洗后字段信息添加至预设的数据待发送队列；将数据待发送队列中的各个清洗后字段信息分配至数据融合分发器组中的数据融合分发器；将接收到的清洗后字段信息写入至数据存储组件的数据库，以供存储。该实施方式可以减少存储资源的占用。。来自马-克-数-据
申请人信息
- 申请人:海南榕树家信息科技有限公司
- 申请人地址:571900 海南省澄迈县老城镇高新技术产业示范区海南生态软件园孵化楼四楼3001
- 发明人: 海南榕树家信息科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 多源异构数据处理系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311596283.6 |
| 申请日 | 2023/11/27 |
| 公告号 | CN117591025A |
| 公开日 | 2024/2/23 |
| IPC主分类号 | G06F3/06 |
| 权利人 | 海南榕树家信息科技有限公司 |
| 发明人 | 陈洋; 李淑明 |
| 地址 | 海南省澄迈县老城镇高新技术产业示范区海南生态软件园孵化楼四楼3001 |
专利主权项内容
1.一种多源异构数据处理系统，包括：多源数据采集器、数据分配处理引擎、数据融合处理器组、数据融合分发器组、数据存储组件，其中：响应于多源数据采集器获取到多源异构数据集，将所述多源异构数据集中的各个多源异构数据写入至所述数据分配处理引擎，其中，所述多源异构数据集中的各个多源异构数据是从不同数据平台获取的，所述数据分配处理引擎将接收到的每个多源异构数据添加至预设的数据待处理队列；通过所述数据分配处理引擎，将数据待处理队列中的每个多源异构数据分配至所述数据融合处理器组中的数据融合处理器；利用所述数据融合处理器组中的每个数据融合处理器，对接收到的多源异构数据进行数据解析以生成解析后字段信息，得到解析后字段信息集；对所述解析后字段信息集中的各个解析后字段信息进行数据清洗，得到清洗后字段信息集，以及将所述清洗后字段信息集返回至所述数据分配处理引擎，其中，所述数据分配处理引擎将接收到的各个清洗后字段信息添加至预设的数据待发送队列；通过所述数据分配处理引擎，将数据待发送队列中的各个清洗后字段信息分配至所述数据融合分发器组中的数据融合分发器；利用所述数据融合分发器组中的每个数据融合分发器，将接收到的清洗后字段信息写入至所述数据存储组件的数据库，以供存储。 百度搜索马 克 数 据 网