数据处理方法、系统、电子设备及存储介质

专利主权项内容

1.一种数据处理方法，其特征在于，包括：获取主机端发送的待进行数据写入操作的目标数据，并计算所述目标数据对应的目标哈希指纹值；判断所述目标哈希指纹值是否已存储于本地哈希指纹库中，若未存储，根据所述目标哈希指纹值和预设哈希指纹值存储规则，确定所述目标哈希指纹值对应的归属哈希指纹库；判断所述目标哈希指纹值是否已存储于所述归属哈希指纹库，若已存储，对所述目标数据进行重删处理；所述方法还包括：基于数据库的存储空间中已存储的历史数据，构建得到多个哈希指纹子库；将各个所述哈希指纹子库分配到对应的目标服务器节点；所述方法还包括：在确定被监测哈希指纹值当前所存储的哈希指纹子库不属于归属哈希指纹库时，获取预设监测周期内被监测哈希指纹值的第二引用次数，其中，第二引用次数表示被监测哈希指纹值被当前所存储的哈希指纹子库引用的次数；被监测哈希指纹值表示哈希指纹子库中各个已存储的哈希指纹值；判断第二引用次数是否小于第二预设引用次数阈值，若小于，将被监测哈希指纹值从当前所存储的哈希指纹子库中删除，并根据第二引用次数对被监测哈希指纹值对应的归属哈希指纹库中的第一引用次数进行更新，得到调整后的哈希指纹子库；第一引用次数表示被监测哈希指纹值被对应的其它目标服务器节点引用的次数；所述方法还包括：获取所述预设监测周期内被监测哈希指纹值的多个第一引用次数，其中，所述被监测哈希指纹值表示所述哈希指纹子库中各个所述已存储的哈希指纹值；各个所述第一引用次数表示所述被监测哈希指纹值被对应的其它所述目标服务器节点引用的次数；在确定所述被监测哈希指纹值当前所存储的所述哈希指纹子库为所述归属哈希指纹库时，将各个所述第一引用次数与第一预设引用次数阈值进行比对，并根据比对结果，获取目标哈希指纹子库；将所述被监测哈希指纹值从当前所存储的所述哈希指纹子库复制到所述目标哈希指纹子库；对所述被监测哈希指纹值当前所存储的所述哈希指纹子库中记录的所述目标哈希指纹子库对应的所述第一引用次数进行清零处理，并对所述目标哈希指纹子库中复制得到的所述被监测哈希指纹值的引用次数进行更新，得到所述调整后的哈希指纹子库。