← 返回列表
流批任务一体化方法、装置、存储介质及电子设备
摘要文本
本公开涉及计算机技术领域,公开了一种流批任务一体化方法、装置、存储介质及电子设备。该方法包括在接收到任务创建请求时,可以响应任务创建请求确定其任务配置,包括流任务配置、批任务配置和流批任务一体化配置,而流数据表、批数据表由表元数据统一定义,可以通过统一的查询获得不同任务配置需求的数据,进而可以直接进行任务配置对应的计算任务,包括流任务、批任务或流批一体化任务。该方法通过采用表元数据统一定义,配置逻辑简单,且在业务层向外提供了统一的查询方式,便于维护和协调,下游应用只需发起任务创建请求即可确定需求的任务配置并获得计算结果,统一任务处理逻辑和口径,操作简便,效率高且出错几率小,提高了业务质量。
申请人信息
- 申请人:杭州网易云音乐科技有限公司
- 申请人地址:311215 浙江省杭州市萧山区钱江世纪城奔竞大道353号杭州国际博览中心A座1201室
- 发明人: 杭州网易云音乐科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 流批任务一体化方法、装置、存储介质及电子设备 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311768754.7 |
| 申请日 | 2023/12/20 |
| 公告号 | CN117435596A |
| 公开日 | 2024/1/23 |
| IPC主分类号 | G06F16/22 |
| 权利人 | 杭州网易云音乐科技有限公司 |
| 发明人 | 赵荣生; 汪磊; 李垚周; 蒋文伟; 孙梓涵; 傅星楠; 詹万科; 朱一飞 |
| 地址 | 浙江省杭州市萧山区钱江世纪城奔竞大道353号杭州国际博览中心A座1201室 |
专利主权项内容
1.一种流批任务一体化方法,其特征在于,所述方法包括:接收任务创建请求;响应于所述任务创建请求,确定任务配置,所述任务配置包括流任务配置、批任务配置和流批一体化任务配置中的任意一种;根据所述任务配置确定对应的表元数据,所述表元数据用于统一定义流数据表与批数据表;基于所述表元数据进行所述任务配置对应的计算任务,所述计算任务包括流任务、批任务和流批一体化任务中的任意一种。