一种数据查询方法、装置、设备和存储介质

专利主权项内容

1.一种数据查询方法，其特征在于，包括：获取当前数据库表的属性信息，并记录数据库的最大日志ID；根据所述数据库表的属性信息，分批次同步所述数据库表中的多条历史数据，形成基础数据文件组；其中，所述基础数据文件组，包括：多个基础数据文件；所述基础数据文件组的组信息，包括：多个所述基础数据文件对应的存储位置和时间范围；每个所述基础数据文件包括：按照时间从先到后的顺序，获得的多条历史数据以及多条所述历史数据对应的存储结构信息；多条所述历史数据对应的存储结构信息用于反映数据库表的表结构；从所述数据库的最大日志ID开始，针对所述数据库进行增量日志订阅，获得所述数据库的增量数据并且记录每条增量数据的日志时间戳和数据操作类型，形成增量数据文件组；其中，所述增量数据文件组，包括：多个增量数据文件；所述增量数据文件组的组信息，包括：多个所述增量数据文件对应的存储位置和时间范围；每个所述增量数据文件包括：按照时间从先到后的顺序，获得的多条增量数据，每条所述增量数据对应的日志时间戳和数据操作类型以及多条所述增量数据对应的存储结构信息；其中，当获得的增量数据的存储结构发生变化时，切换到下一个增量数据文件组进行存储；多条所述增量数据对应的存储结构信息用于反映增量日志订阅阶段数据库表的表结构；在元数据中存储所述数据库表对应的存储结构信息，所述基础数据文件组的组信息和所述增量数据文件组的组信息；其中，所述数据库表对应的存储结构信息，包括：多个所述基础数据文件对应的存储结构以及多个所述增量数据文件对应的最新存储结构；根据所述元数据中存储的所述基础数据文件组的组信息和所述增量数据文件组的组信息，在所述基础数据文件组和所述增量数据文件组中查询数据，并且，根据所述元数据中存储的所述存储结构信息，对查询到的数据进行结构映射；其中，所述根据所述元数据中存储的所述基础数据文件组的组信息和所述增量数据文件组的组信息，在所述基础数据文件组和所述增量数据文件组中查询数据，包括 : 接收查询条件；其中，所述查询条件包括目标主键在目标时间范围内被操作过的数据，或者，目标日志时间戳对应的数据；在所述查询条件包括目标主键在目标时间范围内被操作过的数据时，通过所述元数据存储的所述增量数据文件组的组信息，查询与所述目标时间范围相匹配的增量数据文件组，在匹配出的增量数据文件组中的增量数据文件内，查询所述目标主键在目标时间范围内的数据；在所述查询条件包括目标日志时间戳对应的数据时，通过所述元数据中存储的所述基础数据文件组的组信息和所述增量数据文件组的组信息，对所述基础数据文件组和所述增量数据文件组进行全量扫描，用以查询所述目标日志时间戳对应的数据；检测查询到的数据的主键值；针对主键值相同的数据，仅保留日志时间戳最大的数据。