增强型深度确定策略梯度算法

作     者：陈建平 何超 刘全 吴宏杰 胡伏原 傅启明 CHEN Jianping;HE Chao;LIU Quan;WU Hongjie;HU Fuyuan;FU Qiming

作者机构：苏州科技大学电子与信息工程学院江苏苏州215009 苏州科技大学江苏省建筑智慧节能重点实验室江苏苏州215009 苏州科技大学苏州市移动网络技术与应用重点实验室江苏苏州215009 苏州科技大学苏州市虚拟现实智能交互及应用技术重点实验室江苏苏州215009 苏州大学计算机科学与技术学院江苏苏州215006 

出 版 物：《通信学报》 (Journal on Communications)

年 卷 期：2018年第39卷第11期

页      面：106-115页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(No.61502329 No.61772357 No.61750110519 No.61772355 No.61702055 No.61672371 No.61602334 No.61502323) 江苏省自然科学基金资助项目(No.BK20140283) 江苏省重点研发计划基金资助项目(No.BE2017663) 江苏省高校自然科学研究基金资助项目(No.13KJB520020) 苏州市应用基础研究计划工业部分基金资助项目(No.SYG201422) 

主　　题：深度强化学习 样本排序 自模拟度量 时间差分误差 

摘      要：针对深度确定策略梯度算法收敛速率较慢的问题,提出了一种增强型深度确定策略梯度(E-DDPG)算法。该算法在深度确定策略梯度算法的基础上,重新构建两个新的样本池——多样性样本池和高误差样本池。在算法执行过程中,训练样本分别从多样性样本池和高误差样本池按比例选取,以兼顾样本多样性以及样本价值信息,提高样本的利用效率和算法的收敛性能。此外,进一步从理论上证明了利用自模拟度量方法对样本进行相似性度量的合理性,建立值函数与样本相似性之间的关系。将E-DDPG算法以及DDPG算法用于经典的Pendulum问题和MountainCar问题,实验结果表明,E-DDPG具有更好的收敛稳定性,同时具有更快的收敛速率。