一种基于深度强化学习的天地一体化负载均衡路由方法

专利主权项内容

1.一种基于深度强化学习的天地一体化负载均衡路由方法，其特征在于，包括如下步骤：S1，将天地一体化网络拓扑转化为流量传递有向图G；S2，通过OMnet软件构建需要预测得到的网络拓扑，模拟多种流量情况，生成数据集，并对数据集进行预处理；S3，将数据集中的流特征进行归一化处理，通过特征嵌入H函数分别对路径、链路、队列的隐藏状态进行初始化；S4，通过MPNN进行消息传递、聚合更新和生成信息，依次对路径、链路、队列的隐藏状态进行处理；在聚合过程中，采用注意力机制捕捉骨干节点的邻近图结构信息；S5，重复步骤S4至T次；S6，将T次传递后的路径、链路和队列的隐藏状态作为读出函数的输入，将图内所有节点的特征聚合，最终得到一个包含整个图信息的隐藏状态所述读出函数由神经网络实现，将输入的隐藏状态通过一个输入层和三个全连接层，其中最后一个全连接层的输出维度为1；S7，计算流时延、抖动和每个流的丢包率；S8，以平均绝对百分误差MAPE作为损失函数，对性能预测模型进行训练，迭代得到收敛值，生成源至目标节点的性能预测矩阵；S9，根据步骤S8生成的性能矩阵参数，结合网络拓扑参数，划分为动态参数与静态参数；S10，设置强化学习初始策略参数θ、Q函数参数f和空的重放缓冲区D，以及目标参数θ、f；ttS11，根据状态s执行选定的动作a，并对新的状态s'给出一个奖励r，以此来迭代代理策略；其中r是对已预测网络性能的奖励函数，存入重放缓冲区D；S12，从重放缓冲区D中抽取经验B进行学习，设置计算目标值Y；所述经验B包括代理在环境中的状态s、执行的动作a、获取的奖励r、新的状态s'和是否达到终止状态d；tS13，使用均方误差MSE作为损失函数更新Q函数Q(s, a)、策略函数及目标网络；fS14，重复步骤S12的更新步骤，直至收敛，得到最优负载均衡路径结果。