基于双智能体深度强化学习的物联网服务编排方法及装置

专利主权项内容

1.一种基于双智能体深度强化学习的物联网服务编排方法，其特征在于，包括：依据历史时间段的服务请求到达率，利用预先训练的神经网络模型，确定下一时间段的服务请求到达率；其中，任一服务请求对应一组有序的虚拟网络功能VNF；依据所述下一时间段的服务请求到达率，利用深度强化学习算法，确定下一时间段到达的服务请求的目标划分比例和目标VNF编排方案；所述划分比例为下一时间段到达服务请求中，本地计算的服务请求的数量的占比，所述深度强化学习算法基于第一智能体和第二智能体实现，所述第一智能体用于确定服务请求的划分比例，所述第二智能体用于确定划分给边缘计算的服务请求的VNF编排方案；所述深度强化学习算法以最小化计算成本为优化目标，所述计算成本包括计算时间延迟和能耗，所述计算时间延迟依据本地计算时间延迟和边缘计算时间延迟确定，所述能耗依据本地能耗和边缘能耗确定；计算成本分别与计算时间延迟及能耗正相关；依据所述目标划分比例和目标VNF编排方案，对下一时间段到达的服务请求进行处理；其中，在第一智能体和第二智能体的训练过程中，对于下一时间段到达的服务请求，利用第一智能体确定的划分比例，将该划分比例输出给第二智能体，利用第二智能体依据该划分比例，确定VNF编排方案，并确定该VNF编排方案下的边缘计算时间延迟和边缘能耗，将该边缘计算时间延迟和边缘能耗反馈给第一智能体；第一智能体的奖励依据该划分比例下的计算成本确定，且与该划分比例下的计算成本负相关；其中，该划分比例下的计算成本依据该划分比例下的本地计算时间延迟、本地能耗、边缘计算时间延迟，以及，边缘能耗确定；第二智能体的奖励依据该VNF编排方案下的边缘计算时间延迟及边缘能耗确定，并分别与边缘计算时间延迟及边缘能耗负相关。。（macrodatas.cn） （来 自 马 克 数 据 网）