一种基于多智能体强化学习的铁路BIM数据边缘缓存方法
摘要文本
本发明提供了一种基于多智能体强化学习的铁路BIM数据边缘缓存方法。该方法包括：构建BIMDipFM模型，利用BS下用户与BIM数据的历史交互信息对留存率进行预测，获取BIM数据的内容重要性程度，采用马尔可夫博弈模型建立多节点协同缓存模型，得到每个缓存节点的BIM数据缓存状态和需求状态，生成系统中智能体的当前时刻环境状态，构建动作掩码模块，过滤无效动作，输出动作空间，基于actor网络通过Gumble Softmax算法输出确定动作，Agent在环境中执行确定动作，输出奖励，获取新环境状态，将环境状态、确定动作、奖励和新环境状态储存经验回放池中，经验回放池储存满后进行经验回放，更新目标网络，以提高BIM数据的缓存效率，减轻云侧和核心网络的流量负载，提升用户访问速度。
申请人信息
- 申请人:北京交通大学
- 申请人地址:100044 北京市海淀区西直门外上园村3号
- 发明人: 北京交通大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于多智能体强化学习的铁路BIM数据边缘缓存方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311463023.1 |
| 申请日 | 2023/11/6 |
| 公告号 | CN117473616A |
| 公开日 | 2024/1/30 |
| IPC主分类号 | G06F30/13 |
| 权利人 | 北京交通大学 |
| 发明人 | 刘真; 冯铭泽; 王岩楠; 刘泽帅; 李浥东 |
| 地址 | 北京市海淀区西直门外上园村3号 |
专利主权项内容
1.一种基于多智能体强化学习的铁路BIM数据边缘缓存方法，其特征在于，包括：步骤S10、构建BIMDipFM模型，利用边缘服务器节点BS下用户与内容的历史交互信息对留存率进行预测，获取高铁建筑信息模型BIM数据的内容重要性程度；步骤S20、根据所述BIM数据的内容重要性程度，在高铁BIM多边缘节点缓存场景下采用马尔可夫博弈模型建立多节点协同缓存模型，得到每个缓存节点的BIM数据的缓存状态和需求状态；步骤S30、根据每个缓存节点的BIM数据的缓存状态和需求状态，生成系统中智能体的当前时刻环境状态；步骤S40、根据所述智能体当前时刻环境状态，构建动作掩码模块，过滤无效动作，缩小动作空间，输出动作空间；步骤S50、根据所述动作空间基于actor网络通过Gumble Softmax算法输出确定动作；步骤S60、边缘服务器Agent在环境中执行所述确定动作，环境发生改变，根据奖励计算公式计算奖励，输出奖励；步骤S70、重复执行所述步骤S40至步骤S60的处理过程，获取新环境状态，将环境状态、确定动作、奖励和新环境状态作为经验储存经验回放池中；步骤S80、所述经验回放池储存满后进行经验回放，更新actor网络和critic网络，最后再更新目标网络。