一种软件采集数据存储性能提升方法和系统
摘要文本
本发明公开了一种软件采集数据存储性能提升方法和系统,涉及软件采集的技术领域,该,通过软件数据采集模块能够实时监控云平台的存储情况,通过瓶颈识别技术采集获取迁移瓶颈状态数据信息,以及实时检测缓存调节态势数据信息,这保障了对存储性能的及时了解和数据采集;通过数据清洗模块进一步确保了软件性能数据集中的信息是经过精确处理和有意义提取的,针对软件存储性能预测模型,预先设置评估阈值,并将其与性能态势评估指数对比分析,获取预测结果,以便系统能够根据相应的预测结果制定相应的等级提升策略。总之,该系统的提出填补了现有解决方案的不足,通过细致的数据采集、清洗以及对数据迁移中的瓶颈和缓存进行系统分析和预测。
申请人信息
- 申请人:北京比格大数据有限公司
- 申请人地址:100088 北京市西城区新外大街28号普天德胜B座408
- 发明人: 北京比格大数据有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种软件采集数据存储性能提升方法和系统 |
| 专利类型 | 发明授权 |
| 申请号 | CN202311744962.3 |
| 申请日 | 2023/12/19 |
| 公告号 | CN117420967B |
| 公开日 | 2024/3/12 |
| IPC主分类号 | G06F3/06 |
| 权利人 | 北京比格大数据有限公司 |
| 发明人 | 舒成; 高士尧; 李智登晖 |
| 地址 | 北京市西城区新外大街28号普天德胜B座408 |
专利主权项内容
1.一种软件采集数据存储性能提升系统,其特征在于:包括软件数据采集模块、数据清洗模块、迁移分析模块、缓存处理模块以及阈值对比模块;所述软件数据采集模块用于对云平台的存储情况进行实时监控和采集,并利用瓶颈识别技术,采集获取迁移瓶颈状态数据信息,并在缓存设置方面,实时检测缓存调节态势数据信息,建立软件性能数据集;所述数据清洗模块用于将迁移瓶颈状态数据信息和缓存调节态势数据信息均传输至软件性能数据集内,并将其进行数据清洗和特征提取,并依据无量纲处理技术将处理后的数据信息进行标准化处理;所述迁移分析模块用于利用云计算技术将数据清洗后的迁移瓶颈状态数据信息进行综合分析学习,以获取瓶颈因子Pjyz,并结合数据迁移时出现的中断次数Zdcs,汇总生成迁移状态系数Pyxs;所述缓存处理模块用于通过特征提取后的缓存调节态势数据信息,获取块大小Kds和缓存命中率Hcmz,并将所述块大小Kds与所述缓存命中率Hcmz相关联,获取缓存调控系数Tkxs,将所述缓存调控系数Tkxs与所述迁移状态系数Pyxs进行综合分析,并结合Bp神经网络模型后训练生成软件存储性能预测模型,并经过无量纲处理后,以获取性能态势评估指数TSzs,所述性能态势评估指数TSzs通过以下公式获取:
;式中,Ttlz表示为吞吐量,F、F和F分别表示为缓存调控系数Tkxs、迁移状态系数Pyxs和吞吐量Ttlz的比例系数,其中,0.10≤F≤0.22,0.15≤F≤0.36,0.20≤F≤0.42,且0.55≤F+F+F≤1.0,C表示为第一修正常数;123123123所述阈值对比模块用于预先设置评估阈值Q,并将评估阈值Q与所述性能态势评估指数TSzs进行对比分析,获取预测结果,针对预测结果获取相应的等级提升策略,其中,经过无量纲处理后,所述瓶颈因子Pjyz通过以下公式获取:
;式中,Wlkd表示为网络带宽,Dssd表示为读写速度,Bflj表示为并发连接数,j、h和i分别表示为网络带宽Wlkd、读写速度Dssd和并发连接数Bflj的比例系数,其中,0.05≤j≤0.20,0.15≤h≤0.30,0.33≤i≤0.50,且0.60≤j+h+i+≤1.0,P表示为第二修正常数,将所述瓶颈因子Pjyz与所述中断次数Zdcs相关联,并经过无量纲处理后,获取迁移状态系数Pyxs,所述迁移状态系数Pyxs通过以下公式获取:
;式中,Ysjz表示为已迁移数据量,和/>均表示为比例系数,M表示为第三修正常数,1经过无量纲处理后,所述缓存调控系数Tkxs通过以下公式获取:
;式中,RLz表示为缓存容量,Kds表示为块大小,Hcmz表示为缓存命中率,a和a均表示为比例系数,M表示为第四修正常数。122