逻辑分片的分发方法、装置、设备和介质
摘要文本
本发明公开了一种逻辑分片的分发方法、装置、设备和介质,涉及计算机技术领域,具体包括:确定待分发逻辑分片所属的候选存储节点,并根据各候选存储节点所属的第一服务器以及各候选计算节点所属的第二服务器,从待分发逻辑分片中确定各候选计算节点对应的本地逻辑分片;从各候选计算节点对应的本地逻辑分片中,为各候选计算节点分发目标数量的本地逻辑分片,作为第一类逻辑分片;其中,目标数量表示可为各候选计算节点分发的本地逻辑分片的最小数量的最大值;将除第一类逻辑分片以外的待分发逻辑分片,作为第二类逻辑分片,且将第二类逻辑分片平均分发给各候选计算节点。本发明可以降低各候选计算节点进行数据加载整体所需的时间。
申请人信息
- 申请人:北京海致星图科技有限公司
- 申请人地址:100083 北京市海淀区学院路甲5号768创意产业园B座8门
- 发明人: 北京海致星图科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 逻辑分片的分发方法、装置、设备和介质 |
| 专利类型 | 发明授权 |
| 申请号 | CN202410021715.9 |
| 申请日 | 2024/1/5 |
| 公告号 | CN117520461B |
| 公开日 | 2024/4/2 |
| IPC主分类号 | G06F16/27 |
| 权利人 | 北京海致星图科技有限公司 |
| 发明人 | 杨珂; 沈游人; 杨娟; 唐昊哲; 胡甲韬; 夏润民 |
| 地址 | 北京市海淀区学院路甲5号768创意产业园B座8门 |
专利主权项内容
1.一种逻辑分片的分发方法,其特征在于,包括:确定待分发逻辑分片所属的候选存储节点,并根据各所述候选存储节点所属的第一服务器以及各候选计算节点所属的第二服务器,从所述待分发逻辑分片中确定各所述候选计算节点对应的本地逻辑分片;从各所述候选计算节点对应的本地逻辑分片中,为各所述候选计算节点分发目标数量的所述本地逻辑分片,作为第一类逻辑分片;其中,所述目标数量表示可为各所述候选计算节点分发的本地逻辑分片的最小数量的最大值;将除所述第一类逻辑分片以外的所述待分发逻辑分片,作为第二类逻辑分片,且将所述第二类逻辑分片平均分发给各所述候选计算节点;其中,所述目标数量通过如下方式确定:步骤1、为各所述候选计算节点分别构建初始数量的虚拟逻辑分片;其中,所述初始数量为各所述候选计算节点对应的本地逻辑分片的数量上限和数量下限之间的均值,所述数量上限为所述待分发逻辑分片和所述候选计算节点之间的数量比值,所述数量下限为零;步骤2、若任一所述待分发逻辑分片为任一所述候选计算节点对应的本地逻辑分片,则构建该待分发逻辑分片与该候选计算节点对应的各所述虚拟逻辑分片之间的连接关系;步骤3、基于构建的连接关系生成由所述待分发逻辑分片和所述虚拟逻辑分片组成的二分图,并确定所述二分图包括的至少一个最大匹配方案;步骤4、根据所述最大匹配方案确定所述目标数量。