基于DRL的无线传感器网络中单对多充电驻点规划方法

专利主权项内容

1.一种基于DRL的无线传感器网络中单对多充电驻点规划方法，其特征在于：步骤如下：Step1：建立一个包括传感器节点，移动无线充电智能体，基站和服务站的无线传感器网络模型：在确定监测的区域内随机部署10个以上的传感器节点，移动无线充电智能体最大充电范围为D，N表示传感器节点构成的集合，传感器节点总数为N；N表示移动无线充电智能体充电范围内传感器节点的集合；N表示移动无线充电智能体充电范围内传感器节点个数；SQk初始时n表示传感器节点i，表示移动无线充电智能体充电范围内第i个节点，当节点位于移动无线充电智能体充电范围内，就称此传感器节点被覆盖；iStep2：分析移动无线充电智能体位置信息和各传感器节点的位置信息对于充电驻点规划的影响；Step3：基于节点全覆盖和提高移动无线充电智能体能量效率原则，设计一种称为ADRL的充电驻点规划方法，该方法的工作过程是：在无线传感器网络中设置汇聚节点，用于收集节点的位置和是否被覆盖标识信息，并将收集的信息发送给基站；移动无线充电智能体接收基站发送来的节点状态信息，通过深度强化学习算法计算，基于节点全覆盖和提高移动无线充电智能体能量效率原则，计算出一个坐标，即充电驻点，并移动到该充电驻点；到达充电驻点后，节点未被覆盖的节点改变覆盖标识信息，由未覆盖变为已覆盖，如果网络中还存在未被覆盖的节点，则继续以上步骤选择充电驻点，并移动到该充电驻点，如果网络中不存在未被覆盖的节点，则返回服务站；如此循环工作以计算得出最优充电驻点；所述Step3中，ADRL的具体过程为：每个节点都会周期性检查自身状态信息，因为需要移动无线充电智能体选择充电驻点，从而使得更多节点达到覆盖状态，节点最重要的信息为：节点二维平面坐标L, 和是否被覆盖标识index，两者信息共同组成元组<L, index>发送给基站，再由基站转发给移动无线充电智能体；ii所述Step3，整体步骤如下：Step3.1结合Attention机制和深度强化学习算法，首先计算query，key和value的公式如下：Q＝Wh (1)cQcK＝WhiKiV＝Whivi其中W，W和W分别为query，key和value的权重矩阵，Q，K和V分别为query，key和value，h为节点i状态嵌入信息，h为移动无线充电智能体位置嵌入信息；QKvciiicStep3.2先计算query和key的相关性u，为：cu＝Q·K (2)ccT其中K为K的转置矩阵，K是key矩阵，为：TK＝[K, K, K…K] (3)123n其中K为节点n状态嵌入信息经过key权重矩阵的状态向量，然后再将query和key的相关性归一化得：n其中softmax()为归一化函数；Step3.3最后计算注意力值为：Attention值为移动无线充电智能体与当前无线传感器网络中节点的关系，使得移动无线充电智能体更加快速的选择出充电驻点；Step3.4Attention值最后再经过深度强化学习算法，得出充电驻点，具体为Attention值经过深度强化学习算法后，深度强化学习回生成两个值：l和θ，其中l为充电驻点距离移动无线充电智能体的长度，θ为充电驻点与移动无线充电智能体之间的角度；假设移动无线充电智能体当前位置为其中/>为移动无线充电智能体当前位置的横坐标，/>为移动无线充电智能体当前位置的纵坐标，移动无线充电智能体通过ADRL算法计算出的充电驻点位置为/>其中/>为充电驻点的横坐标，/>为充电驻点的纵坐标，那么移动无线充电智能体与充电驻点之间的位置关系为：Step3.5移动无线充电智能体在到达充电驻点后，需要判断哪些节点被覆盖，节点位置为L＝(x, y)，其中x和y分别为节点的横坐标和纵坐标，节点位置需满足下面条件，则为被覆盖：iiiii其中x和y分别为移动无线充电智能体所停留位置的横坐标和纵坐标；mcmcStep3.6已经到达覆盖条件的节点会改变自己的覆盖标识，由index＝0变为index＝1，index为节点i的是否被覆盖标识；iiiStep3.7判断无线传感器网络内所有节点受否全部达到覆盖条件，如果已经达到移动无线充电智能体返回服务站，同时利用收集的数据训练更新ADRL算法，以达到下一次更优秀的覆盖路径；如果没有则再通过ADRL得出新的充电驻点。。