一种网络大数据的管理系统

专利主权项内容

1.一种网络大数据的管理系统，其特征在于，包括数据采集模块、筛选模块、数据管理模块和数据存储模块；所述数据采集模块用于根据预设的采集窗口采集原始数据，将原始数据根据目标数据块大小分解为若干个数据块，并赋予每个数据块对应的元数据信息，将数据块和对应的元数据信息封装成数据包，元数据信息包括序列号、采集时间戳、IP地址和数据块内容的哈希值；数据采集模块包括带宽监测单元和数据分解单元，带宽监测单元用于根据预设的采集窗口周期性地监测网络带宽利用率，数据分解单元用于根据网络带宽利用率确定目标数据块大小；所述数据采集模块还用于将若干个数据包传输至筛选模块；所述筛选模块用于根据预设的筛选规则对若干个数据包进行合法性检测，当数据包的数据格式、IP地址和哈希值均合法时，则该数据包为合法数据包；当数据包的数据格式、IP地址和哈希值中任意一个条件非法时，则该数据包为非法数据包；筛选模块还用于将合法数据包传输至数据管理模块；数据管理模块包括重组单元和索引分配单元，重组单元用于获取采集窗口内的所有合法数据包，提取每个合法数据包中的数据块和元数据信息，根据元数据信息将若干数据块进行重组，得到若干目标数据信息；索引分配单元用于根据预设的映射规则生成每个目标数据信息的标签索引，标签索引包括第一层标签和第二层标签，其中，预设的映射规则由预设的关键词与标签数据库、标签与主题数据库的匹配关系生成；数据管理模块还用于将目标数据信息和对应的标签索引传输至数据存储模块；数据存储模块用于根据标签索引设置若干存储单元，每个存储单元与一个标签索引相关联，每个存储单元都被赋予一个链接地址，链接地址与标签索引呈现一对一的关系；数据存储模块还设置有设定的接口端，当设定的接口端接收到访问请求时，快速定位至对应的链接地址，其中，访问请求包括标签索引和用户信息。