一种基于CDC方式的达梦数据库增量同步实现方法
申请人信息
- 申请人:广州睿帆科技有限公司
- 申请人地址:510000 广东省广州市南沙区南沙街金隆路37号901-907房
- 发明人: 广州睿帆科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于CDC方式的达梦数据库增量同步实现方法 |
| 专利类型 | 发明授权 |
| 申请号 | CN202311823776.9 |
| 申请日 | 2023/12/28 |
| 公告号 | CN117473021B |
| 公开日 | 2024/3/12 |
| IPC主分类号 | G06F16/27 |
| 权利人 | 广州睿帆科技有限公司 |
| 发明人 | 王海军; 郑成伟; 陈彬 |
| 地址 | 广东省广州市南沙区南沙街金隆路37号901-907房 |
摘要文本
广州睿帆科技有限公司取得“一种透气窗帘布”专利技术,本发明提供了一种基于CDC方式的达梦数据库增量同步实现方法,涉及数据处理技术领域,包括:基于达梦数据库中每个数据存储区的位址信息在每个层级下的子位址信息,确定出达梦数据库和同步数据库之间的差异层级,并确定出起始遍历层级;基于起始遍历层级和达梦数据库中当前的所有位址信息,确定出达梦数据库和同步数据库之间的差异数据存储区;对同步数据库中的部分差异数据存储区进行全量同步,基于另一部分差异数据存储区的存储数据表示矩阵和对应同步数据存储区的存储数据表示矩阵,对另一部分差异数据存储区的部分差异数据进行部分增量同步,获得增量同步实现结果;用以实现对达梦数据库的增量数据的非侵入式的高效同步。
专利主权项内容
1.一种基于CDC方式的达梦数据库增量同步实现方法,其特征在于,包括:S1:实时获取达梦数据库中每个最小分配单位的数据存储区的位址信息在每个层级下的子位址信息;S2:基于所有位址信息在每个层级下的子位址信息,确定出达梦数据库和同步数据库之间的差异层级,并将差异层级中最高层级当作起始遍历层级;S3:基于起始遍历层级和达梦数据库中当前的所有位址信息,对达梦数据库进行部分遍历定位,确定出达梦数据库和同步数据库之间的差异数据存储区;S4:对同步数据库中不包含对应同步数据存储区的差异数据存储区进行全量同步,同时,基于同步数据库中包含对应的同步数据存储区的差异数据存储区的存储数据表示矩阵和对应同步数据存储区的存储数据表示矩阵,确定出差异数据存储区中的差异数据的增量起始序列和增量操作类型,并基于差异数据的增量起始序列和增量操作类型对对应同步数据存储区进行部分增量同步,获得增量同步实现结果;其中,基于同步数据库中包含对应的同步数据存储区的差异数据存储区的存储数据表示矩阵和对应同步数据存储区的存储数据表示矩阵,确定出差异数据存储区中的差异数据的增量起始序列和增量操作类型,包括:基于同步数据库中包含对应的同步数据存储区的差异数据存储区的存储数据表示矩阵和对应同步数据存储区的存储数据表示矩阵,在对应差异数据存储区中确定出差异数据;基于差异数据的增量操作日志,确定出差异数据的增量起始序列和增量操作类型;其中,基于同步数据库中包含对应的同步数据存储区的差异数据存储区的存储数据表示矩阵和对应同步数据存储区的存储数据表示矩阵,在对应差异数据存储区中确定出差异数据,包括:将同步数据库中包含对应的同步数据存储区的差异数据存储区,当作目标差异数据存储区;基于目标差异数据存储区中的当前存储数据和在同步数据库中对应的同步数据存储区的当前存储数据,生成目标差异数据存储区的存储数据表示矩阵和对应的同步数据存储区的存储数据表示矩阵;将目标差异数据存储区的存储数据表示矩阵中,与对应的同步数据存储区的存储数据表示矩阵中对应元素位置处的矩阵元素值不同的矩阵元素值,当作第一筛选元素值;在所有第一筛选元素值中筛选出差异矩阵元素值;将差异矩阵元素值在目标差异数据存储区域中对应的单位数据当作差异数据;其中,基于目标差异数据存储区中的当前存储数据和在同步数据库中对应的同步数据存储区的当前存储数据,生成目标差异数据存储区的存储数据表示矩阵和对应的同步数据存储区的存储数据表示矩阵,包括:确定出目标差异数据存储区中每行的数据赋值方式和对应的同步数据存储区中每行的数据赋值方式;基于目标差异数据存储区中每行的数据赋值方式对目标差异数据存储区中每行包含的每个单位数据进行赋值处理,获得目标差异数据存储区中每个单位数据的赋值结果,同时,基于对应的同步数据存储区中每行的数据赋值方式对同步数据存储区中每行包含的每个单位数据进行赋值处理,获得对应的同步数据存储区中每个单位数据的赋值结果;基于目标差异数据存储区中每行包含的所有单位数据的赋值结果,生成差异数据存储区的存储数据表示矩阵,同时,基于对应的同步数据存储区中每行包含的所有单位数据的赋值结果,生成对应的同步数据存储区的存储数据表示矩阵。 更多数据:搜索马克数据网来源: