← 返回列表
一种基于容器化微服务的流数据处理方法及装置
摘要文本
(来源 马克数据网) 本发明提供了一种基于容器化微服务的流数据处理方法及装置,所述方法包括:通过提供微服务业务的多个容器分别接收流数据信息,并依据各容器的微服务业务类型在接收到的流数据信息中筛选出待处理数据信息;按照预设的业务逻辑对所述待处理数据信息进行处理,并将处理结果数据存入各容器的指定存储位置;从各容器的指定存储位置中获取处理结果数据进行汇总,输出所述流数据信息的处理结果集。本发明提供的方法可以增加流式计算可扩展性,并且各容器在接收的流数据信息之后还可以从中筛选出自身需要处理的待处理数据进行处理,实现异质化的同时最小化非计算资源消耗,同时提升计算效率并节省存储空间。
申请人信息
- 申请人:三六零科技集团有限公司
- 申请人地址:300450 天津市滨海新区华苑产业区(环外)海泰大道20号生产楼A栋2层03室
- 发明人: 三六零科技集团有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于容器化微服务的流数据处理方法及装置 |
| 专利类型 | 发明授权 |
| 申请号 | CN201811585463.3 |
| 申请日 | 2018/12/24 |
| 公告号 | CN111352726B |
| 公开日 | 2024/4/5 |
| IPC主分类号 | G06F9/50 |
| 权利人 | 三六零科技集团有限公司 |
| 发明人 | 刘梦晗 |
| 地址 | 天津市滨海新区华苑产业区(环外)海泰大道20号生产楼A栋2层03室 |
专利主权项内容
1.一种基于容器化微服务的流数据处理方法,包括:通过提供微服务业务的多个容器分别接收流数据信息,并依据各容器的微服务业务类型在接收到的流数据信息中筛选出待处理数据信息;若任一容器监控到自身筛选出的待处理数据信息超过预设信息量和/或指定存储位置的存储量超过预设存储量,则向预设容器管理平台发送扩容请求,由所述预设容器管理平台基于该容器的配置信息启动新的容器;按照预设的业务逻辑对所述待处理数据信息进行处理,并将处理结果数据存入各容器的指定存储位置;从各容器的指定存储位置中获取处理结果数据进行汇总,输出所述流数据信息的处理结果集;所述通过提供微服务业务的多个容器分别接收流数据信息之前,还包括:部署多个执行相同或不同工作任务的工作节点,基于所述工作节点打包多个提供微服务业务的容器;其中,各容器包括至少一个工作节点;所述工作节点包括:数据接收节点、数据处理节点、数据存储节点和/或数据汇总节点;为各容器分配唯一标识信息,并通过预设容器管理平台对所述各容器进行统一管理。