基于Hadoop架构的数据精简方法和系统

专利主权项内容

1.一种基于Hadoop架构的数据精简方法，其特征在于，包括：步骤S1，对于Hadoop架构下的hive2clickhouse的数据同步任务，hive任务的每次运行过程中，增加同步时间字段；步骤S2，clickhouse系统的任务表以该同步时间字段为分区字段，建立新的分区，并设置适当的TTL值；步骤S3，hive任务重跑的时候产生的数据，会基于该同步时间字段进入clickhouse任务表中新的分区，包括：hive任务每次重跑过程中产生的数据首先暂存于hive的存储分区中；对hive存储分区的各个分区进行自动比对，确定存在数据重复的分区；并且，对于属于数据重复的分区，进行重复数据关联去重处理；对于重复数据关联去重处理后的分区，将其关联的同步时间字段更新为最新的同步时间字段；以分区为单位同步到clickhouse任务表中新的分区；步骤S4，clickhouse系统的bi查询引擎获取该新的分区的数据，执行查询处理；该处理过程中不会出现数据重复和翻倍的现象。