一种基于大数据的数据筛选方法及系统

专利主权项内容

1.一种基于大数据的数据筛选方法，其特征在于，所述方法包括：在接收到数据获取方的第一数据获取请求时，获取为各备选CDN节点进行排序得到的节点序列；所述节点序列中任意相邻的两个备选CDN节点在距当前时刻的第一历史时间段内最大访问量的用户群体的用户画像之间的差异大于预设的差异阈值；并且，在所述节点序列中，任意一个所述备选CDN节点在距当前时刻的第二历史时间段内的访问量大于预设的访问量阈值；从待展示页面的各信息展示位中，确定出第一展示位；所述第一展示位是所述待展示页面中位于前列的信息展示位，且所述第一展示位之间间隔有第二展示位；依次按照所述节点序列中所述备选CDN节点的顺序，从所述备选CDN节点本地存储的数据中，确定出与所述第一数据获取请求匹配度最高的，添加至所述第一展示位中；依次按照所述节点序列中所述备选CDN节点的顺序，从所述备选CDN节点本地存储的数据中，确定出与所述第一数据获取请求匹配度大于预设的匹配度阈值的，作为备选数据；对所述备选数据进行分组，得到数据组；使得任一个所述数据组中的数据来源于不同的所述备选CDN节点，并且，同一个所述数据组中的数据对应于相同的数据描述对象；对同一所述数据组中的数据进行整合，得到整合数据；所述整合数据包含若干个字段，所述字段包含所述数据组的数据中出现频率最高的字段、以及所述数据组的数据之间相似度最低的字段；将所述整合数据添加至所述第二展示位中，得到可展示页面；展示所述可展示页面。