数据共享方法、装置、电子设备及存储介质
摘要文本
本申请提供一种数据共享方法、装置、电子设备及存储介质，涉及数据库技术领域。该方法可基于数据共享请求，确定数据共享任务的执行方式，从而触发与执行方式对应的执行流程从数据仓库中拉取数据写入目标数据库中，相比于传统方式而言，数据仓库中的数据无需以数据包的形式打包发送，而是基于共享请求触发从数据仓库中拉取数据，并实时写入目标数据库中，避免了数据到达目标数据库后还需进行解包等处理所带来的流程耗时问题。并且，基于共享任务的执行方式的不同，本方案提供了与执行方式对应的执行流程以执行共享任务，为用户提供了较为全面的数据共享模式，以满足用户不同的共享需求。
申请人信息
- 申请人:浙江中控信息产业股份有限公司
- 申请人地址:310000 浙江省杭州市滨江区滨康路352号2号楼23-25层
- 发明人: 浙江中控信息产业股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 数据共享方法、装置、电子设备及存储介质 |
| 专利类型 | 发明授权 |
| 申请号 | CN202311706011.7 |
| 申请日 | 2023/12/13 |
| 公告号 | CN117390041B |
| 公开日 | 2024/3/22 |
| IPC主分类号 | G06F16/23 |
| 权利人 | 浙江中控信息产业股份有限公司 |
| 发明人 | 姜雪明; 蔡恒; 黄乙元; 虞锦明 |
| 地址 | 浙江省杭州市滨江区滨康路352号2号楼23-25层 |
专利主权项内容
1.一种数据共享方法，其特征在于，包括：接收数据共享请求，并根据所述数据共享请求，确定所述数据共享请求对应的数据共享任务的执行方式；所述数据共享请求用于指示将数据仓库中的指定数据同步至目标数据库中，其中，所述数据仓库为湖仓一体的数据湖；根据所述数据共享任务的执行方式，触发与所述执行方式对应的执行流程，对所述数据共享请求进行处理，以从所述数据仓库中的第一指定位置中拉取指定数据至所述目标数据库中的第二指定位置；所述根据所述数据共享任务的执行方式，触发与所述执行方式对应的执行流程，对所述数据共享请求进行处理，包括：若所述数据共享任务的执行方式为离线共享方式，通过第一计算引擎加载所述数据仓库中指定数据表中当前所有的数据，生成第一数据集合；根据所述数据共享请求中的数据读取方式标识，确定数据读取方式是否为增量读取；若为增量读取，则根据当前数据共享任务的数据读取偏移量，从所述第一数据集合中读取指定数据，生成第二数据集合；根据所述第二数据集合以及所述数据共享请求中数据仓库中数据的字段标识与所述目标数据库中数据的字段标识之间的映射关系，将所述第二数据集合中的数据写入所述目标数据库中的对应位置，并对当前记录的数据读取偏移量进行更新；若所述数据共享任务的执行方式为实时共享方式，则通过第二计算引擎，根据预设时间间隔从所述数据仓库中读取当前的最新数据；将当前读取的最新数据进行备份，并记录当前备份的最新数据的备份标识；所述备份标识包括备份时间戳；通过所述第一计算引擎，根据所述数据共享请求中数据仓库中数据的字段标识与所述目标数据库中数据的字段标识之间的映射关系，将当前读取的数据写入所述目标数据库中的指定位置。