分布式数据中心运维监控方法

专利主权项内容

1.一种分布式数据中心运维监控方法，其特征在于，所述分布式数据中心包括总部数据中心和分部数据中心，所述分布式数据中心运维监控方法包括以下步骤：S1，设计总部数据中心和分部数据中心之间的网络连接、安全策略、数据同步架构，构建监控系统，使用正则表达式对原始日志数据进行预处理，提取原始日志数据中的时间戳，使用Spark大数据处理框架，以时间戳为主键，对日志数据进行数据合并，将总部数据中心和分部数据中心的日志数据合并为一个整体数据集，使用朴素贝叶斯法对数据集进行分类标记，使用Spark Streaming技术将新产生的日志数据实时接入到监控系统中，从而将总部数据中心和分部数据中心的日志数据进行统一标准化处理；S2，在总部数据中心部署集中式管理平台，使用SPF算法，分析和匹配检索场景，在分部数据中心部署独立计算引擎和存储引擎，进行本地化计算分析和存储，降低各个数据中心的网络带宽消耗；S3，在总部数据中心和分部数据中心设计分级存储方案，部署SSD磁盘和普通磁盘，使用热数据识别算法，根据访问频率、数据关联性和业务需求，识别高频率访问的重要数据，将重要数据保存在SSD磁盘中，使用数据迁移算法，将3天以上未检索的数据迁移至普通磁盘，使用数据压缩算法，将15天以上未检索的数据进行压缩处理，并部署可视化监控工具，对广域网链路和应用进行实时监控；S4，基于布隆过滤器，使用哈希函数对日志进行去重，使用线性归一化法对同类别日志进行归一化处理，使用K-means算法对日志进行分类，并部署安全流量分析工具，对广域网的流量进行监控和分析；S5，建立总部数据中心和分部数据中心之间的业务协同和数据协同机制；S6，将非云化数据迁移到云平台上。