海洋大数据缓存加载系统、运行方法、装置和介质
申请人信息
- 申请人:中国海洋大学
- 申请人地址:266100 山东省青岛市崂山区松岭路238号
- 发明人: 中国海洋大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 海洋大数据缓存加载系统、运行方法、装置和介质 |
| 专利类型 | 发明授权 |
| 申请号 | CN202311773800.2 |
| 申请日 | 2023/12/22 |
| 公告号 | CN117453751B |
| 公开日 | 2024/3/26 |
| IPC主分类号 | G06F16/2455 |
| 权利人 | 中国海洋大学 |
| 发明人 | 杨永全; 杨建宇; 魏志强 |
| 地址 | 山东省青岛市崂山区松岭路238号 |
摘要文本
本发明涉及一种海洋大数据缓存加载系统、运行方法、装置和介质,属于海洋数据处理技术领域,所述系统包括海洋大数据平台、缓存预测中心、缓存加载中心,海洋大数据平台将历史海洋数据集发送至缓存预测中心进行模型训练,得到缓存预测模型;将未来时间的预测预报数据输入缓存预测模型,预测出数据访问概率;缓存加载中心根据数据访问概率,在用户访问数据之前,提前将相关数据加载到缓存中,完成主动缓存加载;海洋大数据平台实时采集海洋数据并持久化存储,同时在缓存空间替换原有的预测预报数据;定期重新进行模型训练及预测。本发明还提供了所述系统的运行方法及运行所述方法的装置和介质,本发明实现了主动式缓存加载方法,提高数据查询效率。
专利主权项内容
1.一种海洋大数据缓存加载系统的运行方法,所述系统包括海洋大数据平台、缓存预测中心、缓存加载中心,海洋大数据平台将历史海洋数据集发送至缓存预测中心,缓存预测中心进行模型训练,得到缓存预测模型;将未来时间的预测预报数据输入缓存预测模型,预测出数据访问概率;缓存加载中心根据缓存预测中心预测出的数据访问概率,在用户访问数据之前,提前将相关数据加载到缓存中,完成主动缓存加载;海洋大数据平台实时采集海洋数据并持久化存储,同时在缓存空间用实时数据替换原有的预测预报数据;定期根据现有海洋数据重新进行模型训练及预测;其特征在于,所述方法包括海洋大数据平台的运行方法、缓存预测中心的运行方法和缓存加载中心的运行方法;所述海洋大数据平台的运行方法具体步骤如下:第一步、等待人工指令,人工开始运行海洋大数据平台,设置指令执行周期;第二步、海洋大数据平台向缓存预测中心发送指令,指令分为模型训练指令、缓存预测指令;发送模型训练指令,将历史海洋数据的温度、盐度、气压、1/3波高、1/3波周期、1/10波高、1/10波周期、波向发送至缓存预测中心作为多个通道输入,训练缓存预测模型;发送缓存预测指令,将合作项目的预测预报数据输入缓存预测模型,预测该数据的访问概率;第三步、海洋大数据平台采集实时海洋数据,将实时数据持久化存储的同时,向缓存加载中心发送缓存更新指令,将最新高概率“海洋网格”的真实数据缓存空间的预测预报数据;海洋大数据平台进行实时数据处理及数据可视化;第四步、人工结束海洋大数据平台;所述的缓存预测中心的运行方法具体步骤如下:第一步、初始化缓存预测程序,缓存预测中心进入监听状态,等待海洋大数据平台指令,海洋大数据会向缓存预测中心平台发送的模型训练指令、缓存预测指令;第二步、收到模型训练指令,分割海洋大数据平台发送过来的历史海洋数据为“海洋网格”,将每一个“海洋网格”输入缓存预测模型进行模型训练,保存缓存预测模型;第四步、收到缓存预测指令,分割海洋大数据平台发送过来的预测预报数据为“海洋网格”,将每一个“海洋网格”输入缓存预测模型,进行缓存加载预测,得到每一个预测预报“海洋网格”的访问概率;第五步、向缓存加载中心发送缓存更新指令,并发送缓存预测结果,通过缓存加载中心完成缓存更新;所述的缓存加载中心的运行方法具体步骤如下:第一步、初始化缓存加载中心程序,等待来自海洋大数据平台和缓存预测中心的指令表达式;第二步、等待海洋大数据平台发送的指令;指令分为普通操作指令与缓存更新指令,普通操作指令实现重启程序与结束程序的操作;海洋大数据平台采集到实时数据,同时向缓存加载中心发送缓存更新指令,用最新真实“海洋网格”数据替换掉预测预报数据;第三步、等待缓存预测中心传递的缓存预测结果;查询持久化存储空间,将已预测出最高概率的n个“海洋网格”真实数据和未来预测预报数据加载到缓存空间中;G第四步、如果缓存加载失败,会检测问题,并重新加载缓存;第五步、当收到缓存预测中心发来的结束程序的指令,会运行销毁程序,结束缓存加载中心的运行。