基于改进深度强化学习的边缘计算服务卸载算法

在边缘计算(EC)网络中,针对边缘节点计算资源和存储空间有限的问题,提出一种基于改进深度强化学习(DRL)的边缘计算服务卸载(ECSO)算法,以降低节点处理时延和提高服务性能.具体来说,将边缘节点服务卸载问题转化为资源受限的马尔可夫决策过程(MDP),利用DRL算法解决边缘节点的请求状态转移概率难以精确预测的问题;考虑到边缘节点执行缓存服务的状态动作空间过大,定义新的动作行为替代原有动作,并依据提出的动作筛选算法得到最优动作集合,以改进计算动作行为奖励值的过程,进而大幅度降低动作空间大小,提高算法训练的效率以及收益.仿真实验结果表明,对比原深度Q网络(DQN)算法、邻近策略优化(PPO)算法以及传统的最流行(MP)算法,ECSO算法的总奖励值分别提升了7.0％、12.7％和65.6％,边缘节点服务卸载时延分别降低了13.0％、18.8％和66.4％,验证了算法的有效性,说明ECSO能有效提升边缘计算服务的卸载性能.