← 返回列表
大数据处理系统及方法、电子设备、存储介质
摘要文本
本公开是关于一种大数据处理系统及方法、电子设备、存储介质，涉及数据处理技术领域，该方法包括：数据接收单元，用于通过基于预设系统的集群实例的监听器接收业务数据；数据转发单元，用于对接收到的所述业务数据根据转发策略转发至所述集群实例的分布式组件或下级集群实例；业务处理单元，用于通过所述集群实例的分布式组件对接收到的所述业务数据进行处理，以生成中间数据；数据发送单元，用于根据转发策略将所述中间数据发送至所述集群实例的所述分布式组件或所述下级集群实例，以进行数据处理。本公开可以更容易地维护数据系统，提高数据处理系统的可靠性。
申请人信息
- 申请人:北京京东尚科信息技术有限公司; 北京京东世纪贸易有限公司
- 申请人地址:100195 北京市海淀区杏石口路65号西杉创意园四区11号楼东段1-4层西段1-4层
- 发明人: 北京京东尚科信息技术有限公司; 北京京东世纪贸易有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 大数据处理系统及方法、电子设备、存储介质 |
| 专利类型 | 发明授权 |
| 申请号 | CN201810343585.5 |
| 申请日 | 2018年4月17日 |
| 公告号 | CN110389785B |
| 公开日 | 2024年3月1日 |
| IPC主分类号 | G06F9/38 |
| 权利人 | 北京京东尚科信息技术有限公司; 北京京东世纪贸易有限公司 |
| 发明人 | 马丽伟; 李卓嘉; 李胜; 吴昊挺; 施洪云; 梁勇; 王栋栋 |
| 地址 | 北京市海淀区杏石口路65号西杉创意园四区11号楼东段1-4层西段1-4层; 北京市大兴区北京经济技术开发区科创十一街18号C座2层201室 |
专利主权项内容
1.一种大数据处理系统，其特征在于，包括：数据接收单元，用于通过基于预设系统的集群实例的监听器接收业务数据；所述集群实例包括多个分布式组件；数据转发单元，用于将接收到的所述业务数据根据转发策略转发至所述集群实例的多个分布式组件中的第一个分布式组件或下级集群实例；业务处理单元，用于通过所述第一个分布式组件对接收到的所述业务数据进行处理，以生成中间数据；数据发送单元，用于根据所述转发策略将所述中间数据发送至所述集群实例中的下一个分布式组件或所述下级集群实例，以进行数据处理，以形成一个处理流水线，并通过所述处理流水线中的最后一个分布式组件进行数据存储操作。