一种基于分布式存储的数据控制方法、系统及电子设备
摘要文本
本说明书公开了一种基于分布式存储的数据控制方法、系统及电子设备,可以提高大IO场景下的数据读写效率。所述方法包括获取目标数据相应的元数据信息,所述元数据信息用于表征所述目标数据在分布式存储元数据结构下的位置信息;根据所述目标数据的偏移地址与数据长度,结合所述元数据信息确定与所述目标数据相对应的目标数据块;获取数据块位置信息相应的位置索引信息;根据所述位置索引信息在所述数据块位置信息相对应的多个所述物理块位置信息中查找确定出与所述目标数据块相对应的目标物理块位置信息;根据所述目标物理块位置信息在分布式存储磁盘中对所述目标数据执行读写操作。
申请人信息
- 申请人:苏州元脑智能科技有限公司
- 申请人地址:215000 江苏省苏州市吴中经济开发区郭巷街道官浦路1号9幢
- 发明人: 苏州元脑智能科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于分布式存储的数据控制方法、系统及电子设备 |
| 专利类型 | 发明授权 |
| 申请号 | CN202311388939.5 |
| 申请日 | 2023/10/25 |
| 公告号 | CN117270789B |
| 公开日 | 2024/2/6 |
| IPC主分类号 | G06F3/06 |
| 权利人 | 苏州元脑智能科技有限公司 |
| 发明人 | 乔继辉; 田溢丰; 李文鹏 |
| 地址 | 江苏省苏州市吴中经济开发区郭巷街道官浦路1号9幢 |
专利主权项内容
1.一种基于分布式存储的数据控制方法,其特征在于,所述方法包括:获取目标数据相应的元数据信息,所述元数据信息用于表征所述目标数据在分布式存储元数据结构下的位置信息,所述元数据结构包括对象逻辑层、数据块层与物理块层;所述对象逻辑层包括多个对象逻辑区域,所述数据块层包括至少一个数据块位置信息;所述对象逻辑层中的多个所述对象逻辑区域与所述数据块层中的至少一个所述数据块位置信息之间为多对一的映射关系;根据所述目标数据的偏移地址与数据长度,结合所述元数据信息在所述数据块层的数据块位置信息中确定与所述目标数据相对应的目标数据块;所述根据所述目标数据的偏移地址与数据长度,结合所述元数据信息在所述数据块层的数据块位置信息中确定与所述目标数据相对应的目标数据块,包括:通过将所述数据块位置信息与分布式存储磁盘的最小分配单元对齐,将所述数据块位置信息划分为多个均等的数据块;根据所述偏移地址和所述数据长度,计算确定所述目标数据块在所述数据块位置信息对应的多个所述数据块中的顺序编号,以确定所述目标数据块;其中,所述通过将所述数据块位置信息与分布式存储磁盘的最小分配单元对齐,将所述数据块位置信息划分为多个均等的数据块,包括:将所述分布式存储磁盘的最小分配单元的大小,设置为与所述分布式存储磁盘的最小操作单元的大小一致;将所述数据块位置信息按照所述最小分配单元的大小划分为多个均等的数据块;所述根据所述偏移地址和所述数据长度,计算确定所述目标数据块在所述数据块位置信息中的顺序编号,包括:根据所述数据长度,将所述目标数据按照所述最小分配单元划分为多个所述目标数据块;根据所述偏移地址和所述最小分配单元的大小,分别确定每个所述目标数据块的偏移地址;分别将每个所述目标数据块的偏移地址与所述最小分配单元相除,得到所述顺序编号;获取所述数据块位置信息相应的位置索引信息,所述位置索引信息用于记录所述数据块位置信息所对应的多个物理块位置信息在所述物理块层中的位置;根据所述位置索引信息在所述数据块位置信息相对应的多个所述物理块位置信息中查找确定出与所述目标数据块相对应的目标物理块位置信息;根据所述目标物理块位置信息在分布式存储磁盘中对所述目标数据执行读写操作。。来自马克数据网