一种基于云原生技术的图计算平台

专利主权项内容

1.一种基于云原生技术的图计算平台，其特征在于，该平台包括使用云原生架构设计的软硬件协同系统、图存储系统、图计算引擎和图开发工场系统；其中，所述软硬件协同系统、图存储系统、图计算引擎运行在后端，所述图开发工场运行在前端；所述软硬件协同系统提供硬件计算资源和软硬件适配环境，所述硬件计算资源包括各类中心处理器、数据处理器、FPGA加速器以及图计算芯片；所述软硬件适配环境包括基于异构硬件资源为图计算算法进行加速的数据流加速库和算子加速库；所述图存储系统包括图划分模块、分布式持久化存储模块和分布式共享内存池模块，所述图划分模块内置多种图分区算法；所述分布式持久化存储模块用于通过分布式文件系统进行图数据的落盘存储，并提供图数据读写的接口和服务；所述分布式共享内存池模块用于基于远程直接数据存取的技术对多个计算节点上的主机内存和GPU显存进行全局内存空间的管理，实现集群中的分布式内存共享；所述图计算引擎包括图查询引擎、图分析引擎和图学习引擎，分别用于实现图关联数据的直接查询、分布式图分析和并行化图学习模型的训练；所述图开发工场系统为基于所述图计算引擎构建的面向图计算领域的可视化操作系统，以K8s容器化的技术部署，用于将图计算算法的整个开发过程组件化、流程化和可视化；所述图开发工场系统包括图数据建模模块、图数据可视化模块、图算法组件模块、图训练流程构建模块和图模型部署模块；所述图数据建模模块用于定义一种图数据标准存储结构，并将现实世界的事物抽象为图中的节点和边，并使用图的结构和属性来描述事物之间的联系和特征；所述图数据可视化模块用于可视化展示图查询、图分析和图学习后的结果数据；所述图算法组件模块用于模型训练和推理的模型代码和相关算法的实现，包括图数据的转换组件、特征工程组件、图算法算子组件、GNN模型训练和评估组件、参数优化组件和架构搜索组件；所述图训练流程构建模块使用自动化的工具，以Pipeline的方式，将数据预处理、特征工程、模型训练、模型评估的处理步骤进行构建和管理，形成完整的、可重复的数据处理流程；所述图模型部署模块用于将训练好的图算法模型部署到远程服务器中，用于实现模型部署、模型监控、配置管理和模型推理服务，为业务系统或终端用户提供支持。 马 克 数 据 网