← 返回列表
一种数据推送系统的数据预处理方法
申请人信息
- 申请人:深圳市亲邻科技有限公司
- 申请人地址:518000 广东省深圳市前海深港合作区南山街道前海大道前海嘉里商务中心T2写字楼1201
- 发明人: 深圳市亲邻科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种数据推送系统的数据预处理方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311681808.6 |
| 申请日 | 2023/12/8 |
| 公告号 | CN117540151A |
| 公开日 | 2024/2/9 |
| IPC主分类号 | G06F18/10 |
| 权利人 | 深圳市亲邻科技有限公司 |
| 发明人 | 汪龙; 邱雪雁; 官轲 |
| 地址 | 广东省深圳市前海深港合作区南山街道前海大道前海嘉里商务中心T2写字楼1201 |
摘要文本
深圳市亲邻科技有限公司取得“一种透气窗帘布”专利技术，本发明公开了一种数据推送系统的数据预处理方法，属于数据处理技术领域，包括：获取binlog日志文件后进行解析得到解析数据，所述解析数据包括：第三方平台标识、事件操作数据和其他数据；建立增删规则池，对解析数据内的进行第一次字段过滤，得到初始解析数据；所述第三方平台标识、事件操作数据为固定数据，不参与过滤；将初始解析数据进行分类；对初始解析数据进行第二次字段过滤和/或字段补全，得到最终解析数据；根据不同的第三方平台的最终解析数据制成不同宽表。本发明数据预处理方法具体通过第一次过滤、第二次过滤和补全对数据进行定制化处理，实现应对不同第三方平台的抽取需求。
专利主权项内容
1.一种数据推送系统的数据预处理方法，其特征在于，包括以下步骤：步骤一：获取binlog日志文件后进行解析得到binlog解析数据，所述binlog解析数据包括：第三方平台标识、事件操作数据和其他数据；步骤二：建立的增删规则池，对binlog解析数据进行第一次字段过滤，得到初始binlog解析数据；所述第三方平台标识和事件操作数据为固定数据，不参与过滤；步骤三：将初始binlog解析数据进行分类；步骤四：对初始binlog解析数据进行第二次字段过滤和/或字段补全，得到最终binlog解析数据；步骤五：根据不同的第三方平台的最终binlog解析数据制成不同宽表。