一种基于分布式链路的ES数据跨网闸交换方法
摘要文本
本发明公开一种基于分布式链路的ES数据跨网闸交换方法，包括以下步骤：S1、推送ES操作的操作记录至同步接收子应用，同步接收子应用将操作记录存入关系数据库的ES操作记录表；S2、在网闸中配置ES操作记录表的同步，进行数据摆渡；S3、同步执行子应用读取ES操作记录表，解析操作记录并执行对ES索引库的操作；为保证网闸两侧ES数据的一致性，因ES不支持事务，对操作记录集合内操作记录的执行异常情况，增加一致性处理机制；S4、同步执行子应用执行完成后，删除ES操作表中操作记录；S5、网闸反向摆渡ES操作记录表，删除已完成的ES数据交换记录。
申请人信息
- 申请人:大汉软件股份有限公司
- 申请人地址:210042 江苏省南京市玄武区玄武大道699-40号徐庄实训中心
- 发明人: 大汉软件股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于分布式链路的ES数据跨网闸交换方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410252658.5 |
| 申请日 | 2024/3/6 |
| 公告号 | CN117827980A |
| 公开日 | 2024/4/5 |
| IPC主分类号 | G06F16/27 |
| 权利人 | 大汉软件股份有限公司 |
| 发明人 | 王知明; 曹华伟 |
| 地址 | 江苏省南京市玄武区玄武大道699-40号徐庄实训中心 |
专利主权项内容
1.一种基于分布式链路的ES数据跨网闸交换方法，其特征在于，包括以下步骤：S1、推送ES操作记录至同步接收子应用；ES操作记录的属性包括：操作类型、操作对象、traceid、spanid、pspanid；操作类型为新增、修改和删除；操作对象为相应的ES索引库名称；traceid在分布式链路追踪中，用于标识具体的请求ID；spanid在分布式链路追踪中，用于标识一次调用在分布式请求中的位置；pspanid在分布式链路追踪中，用于标识上游调用在分布式请求中的位置；S2、在网闸中配置ES操作记录的同步规则，由网闸进行数据摆渡；S3、同步执行子应用基于分布式链路特性读取ES操作记录，解析操作记录并执行对ES索引库的操作，实现数据跨网闸交换一致性；基于分布式链路的一致性处理：以traceid为分组，将同一请求内的所有ES操作记录进行汇聚，再对同一traceid中的spanid和pspanid按父子、子孙层级递进关系进行递归操作；通过重试机制，消除非程序因素导致的执行失败；S4、同步执行子应用执行完成后，删除ES操作记录；S5、网闸反向摆渡ES操作记录的删除操作，删除已完成的ES操作记录。