本发明实施例对接收的数据流进行重复数据查询的时候，会根据代表数据流的第一特征值，确定每个第一特征值在所述集群系统中对应的第一物理节点，然后将代表数据流的第一特征值发送到确定的物理节点上进行重复数据查询，重复数据的查询流程不会因为集群系统中节点数的增加而改变，因此不会因为集群系统中节点数的增加而使每个节点的计算量也随之增加。

刘强 孙全成 刘晓波 游俊 杨华镝 周丹 黄岩

华为技术有限公司

518129 中国广东省深圳市龙岗区坂田华为总部办公楼

本发明实施例对接收的数据流进行重复数据查询的时候，会根据代表数据流的第一特征值，确定每个第一特征值在所述集群系统中对应的第一物理节点，然后将代表数据流的第一特征值发送到确定的物理节点上进行重复数据查询，重复数据的查询流程不会因为集群系统中节点数的增加而改变，因此不会因为集群系统中节点数的增加而使每个节点的计算量也随之增加。