← 返回列表
数据采集方法、装置、设备及计算机可读介质
摘要文本
本申请涉及一种数据采集方法、装置、设备及计算机可读介质。该方法包括：接收目标采集任务，目标采集任务用于指示对目标数据源进行数据采集；获取预先为目标采集任务配置的增量采集规则，增量采集规则包括基于位置偏移量做增量采集的第一采集规则和基于元数据标记做增量采集的第二采集规则；按照第一采集规则执行目标采集任务，以基于目标数据源中各个数据字段的位置偏移量采集目标数据源的增量数据，或者，按照第二采集规则执行目标采集任务，以基于目标数据源中的元数据标记采集目标数据源的增量数据。本申请解决了大量相同数据的重复采集导致计算资源严重浪费的技术问题。 微信公众号马克 数据网
申请人信息
- 申请人:东土科技(宜昌)有限公司
- 申请人地址:443005 湖北省宜昌市中国(湖北)自贸区宜昌片区发展大道28号
- 发明人: 东土科技(宜昌)有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 数据采集方法、装置、设备及计算机可读介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311254931.X |
| 申请日 | 2023/9/26 |
| 公告号 | CN117421337A |
| 公开日 | 2024/1/19 |
| IPC主分类号 | G06F16/2455 |
| 权利人 | 东土科技(宜昌)有限公司 |
| 发明人 | 杨月 |
| 地址 | 湖北省宜昌市中国(湖北)自贸区宜昌片区发展大道28号 |
专利主权项内容
1.一种数据采集方法，其特征在于，包括：接收目标采集任务，其中，所述目标采集任务用于指示对目标数据源进行数据采集；获取预先为所述目标采集任务配置的增量采集规则，其中，所述增量采集规则包括基于位置偏移量做增量采集的第一采集规则和基于元数据标记做增量采集的第二采集规则；按照所述第一采集规则执行所述目标采集任务，以基于所述目标数据源中各个数据字段的位置偏移量采集所述目标数据源的增量数据，或者，按照所述第二采集规则执行所述目标采集任务，以基于所述目标数据源中的元数据标记采集所述目标数据源的增量数据。