一种用于本地的数据时序存储方法
摘要文本
本发明提供了一种用于本地的数据时序存储方法,涉及数据储存技术领域,包括:获取并对所述本地的待存储数据时序特征提取得到目标时序特征;基于用户访问历史行为模式与数据特征,引入逻辑回归构建得到分类预测模型;利用所述分类预测模型,结合目标时序特征对待存储数据进行冷热分类预测后得到第一分类结果;采用索引优化策略基于所述第一分类结果将待存储数据分散存入不同节点中对应的冷热分区内。通过对待存储数据时序特征提取、考虑与访问行为特征的关联性,并结合逻辑回归构建的分类预测模型对待存储数据进行冷热分类与冷热分区存储,实现了合理地分配负载,降低数据存储开销,以及保证满足对时序大数据的访问需求。。来自专利查询网
申请人信息
- 申请人:华能资本服务有限公司
- 申请人地址:100031 北京市西城区复兴门南大街2号及丙4幢10-12层
- 发明人: 华能资本服务有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种用于本地的数据时序存储方法 |
| 专利类型 | 发明授权 |
| 申请号 | CN202311324718.1 |
| 申请日 | 2023/10/13 |
| 公告号 | CN117076523B |
| 公开日 | 2024/2/9 |
| IPC主分类号 | G06F16/2458 |
| 权利人 | 华能资本服务有限公司 |
| 发明人 | 刘瑞轩; 毕征宇; 魏欣荣; 李博昊; 李松林 |
| 地址 | 北京市西城区复兴门南大街2号及丙4幢10-12层 |
专利主权项内容
1.一种用于本地的数据时序存储方法,其特征在于,包括:步骤1:获取并对所述本地的待存储数据基于时序特征提取模型做时序特征提取,得到目标时序特征;步骤2:基于用户访问历史行为模式与数据特征,引入逻辑回归构建得到分类预测模型;步骤3:利用所述分类预测模型,结合目标时序特征对待存储数据进行冷热分类预测后得到第一分类结果;步骤4:采用索引优化策略基于所述第一分类结果将待存储数据分散存入不同节点中对应的冷热分区内;其中,获取并对所述本地的待存储数据基于时序特征提取模型做时序特征提取,得到目标时序特征,包括:获取所述本地的需存储数据;对需存储数据进行删除重复数据值、异常值处理以及缺失值补全处理后得到待存储数据;利用基于时间编码器训练得到的时序特征提取模型对所述待存储数据进行特征提取,得到待存储数据的目标时序特征;其中,利用基于时间编码器训练得到的时序特征提取模型对所述待存储数据进行特征提取,得到待存储数据的目标时序特征,包括:从多源数据库中提取预设量的多源数据作为数据样本;将每个数据样本的对应数据源输入同一时间编码器,提取每个数据源的第一时序特征向量;将第一时序特征向量输入同一个映射头进行降维得到第二时序特征向量,并获取关键比较损失;利用所述关键比较损失对时序编码器的参数以及所述映射头的参数进行训练得到时序特征提取模型;利用所述时序特征模型对所述待存储数据进行特征提取,得到所述待存储数据的目标时序特征;其中,基于用户访问历史行为模式与数据特征,引入逻辑回归构建得到分类预测模型,包括:从历史访问行为数据库中提取得到预设量的用户访问历史行为,以及对应用户历史访问数据的第一数据特征以及对应时序特征;将所述第一数据特征与对应时序特征作为输入值输入训练好的逻辑回归模型,并计算出对应数据在每分钟的被访问次数来对该模型进行训练,得到分类预测模型;其中,分类预测函数公式如下:
式中,/>表示为分类预测值,取值范围为/>;t表示为线性回归系数;/>表示为输入值;/>表示为决策边界,其中/>。