← 返回列表
一种数据中台的数据重构方法
摘要文本
本发明涉及数据处理技术领域,具体为数据中台的数据重构方法;包括判断所述数据主题模型重构列表中的待处理字段是否为目标商品字典型参数数据;若是,则执行操作获取第一辅助表,若否,则执行相关操作获取第二辅助表;并基于所述第一辅助表和第二辅助表对数据的调用读取进行重构。通过该方法,在保障数据主题存储不发生信息丢失的情况下,可以实现精简低价值数据并对剩余数据进行重构。
申请人信息
- 申请人:国能(北京)商务网络有限公司
- 申请人地址:100161 北京市海淀区西四环中路16号院1号楼16层1301
- 发明人: 国能(北京)商务网络有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种数据中台的数据重构方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311734088.5 |
| 申请日 | 2023/12/18 |
| 公告号 | CN117421308A |
| 公开日 | 2024/1/19 |
| IPC主分类号 | G06F16/21 |
| 权利人 | 国能(北京)商务网络有限公司 |
| 发明人 | 杨艳丽; 王晓云; 耿永玲; 宁志刚; 孙贞; 蒋雪苹; 关宇晗; 武继龙 |
| 地址 | 北京市海淀区西四环中路16号院1号楼16层1301 |
专利主权项内容
1.一种数据中台的数据重构方法,其特征在于,包括如下步骤:判断数据主题模型重构列表中的待处理字段是否为目标商品字典型参数数据;若是,则在待处理字段所属数据主题中的各子表中获取同名字段,并在所属数据主题中创建第一辅助表,将待处理字段在所属数据主题中的各子表中的历史数据做并归去重处理,并按自增顺序存储到所述第一辅助表;若否,则在待处理字段所属数据主题中的各子表中,读取字段数据并将重复的字段标记为重组字段、重复的数据值标记重组数据,再创建第二辅助表以及主键字段,并将待处理字段和所述重组字段作为所述第二辅助表主键字段之后的数据存储字段,再将原子表中存在的待处理字段和所述重组字段的值之间的关系组合数据迁移到所述第二辅助表中,并将原子表中的非首个重组字段和待处理字段从表结构中删除;删除数据中台缓存中涉及所述待处理字段的所有子表的缓存数据;并基于所述第一辅助表和第二辅助表对数据的调用读取进行重构。