一种实时数据采集存储方法及系统

专利主权项内容

1.一种实时数据采集存储方法，其特征在于，该方法包括以下步骤：采集多个端口的网络吞吐量序列，所述多个端口的网络吞吐量序列对应同一个时间轴，所述网络吞吐量序列中包含若干网络吞吐量数据；对每个端口的网络吞吐量序列获取若干峰值点；根据峰值点之间的时间差异，得到若干峰值聚集区间；根据每个峰值聚集区间中峰值点的分布，得到若干分段点及其置信度；通过分段点将时间轴划分为若干时间段；对所有端口同一时间段中的所有网络吞吐量数据进行聚类，得到每个时间段的若干类簇；根据每个类簇中的网络吞吐量数据及所属时间段对应分段点的置信度，得到每个类簇的压缩损失评价；根据每个类簇的压缩损失评价，对不同类簇采用不同的压缩方式进行压缩；所述得到每个类簇的压缩损失评价，包括的具体方法为：对于任意一个类簇，通过凸包获取该类簇的包围区域，对包围区域获取外接圆，记为该类簇的最小外接圆，计算最小外接圆的面积，半径为圆心到圆上任意一个点的欧式距离；对该类簇中所有吞吐量数据点进行PCA分析，得到若干主成分向量；该类簇的压缩损失评价的计算方法为：其中，表示该类簇所属时间段中左侧分段点的置信度，/>表示该类簇所属时间段中右侧分段点的置信度，/>表示该类簇中吞吐量数据点的数量，/>表示该类簇的最小外接圆的面积，/>表示该类簇的所有主成分向量的模长最大值，/>表示该类簇的所有主成分向量的模长最小值，/>表示求绝对值，/>表示避免指数函数数值过小的超参数，/>表示以自然常数为底的指数函数。 数据由马 克 团 队整理