离线到在线强化学习中,虽然智能体能够通过预先收集的离线数据进行初步策略学习,但在线微调阶段,早期过程常常表现出不稳定性,且微调结束后,性能提升幅度较小.针对这一问题,提出了两种关键设计:1)模拟退火的动态离线-在线缓冲池; 2)模拟退火的行为约束衰减.第1种设计在训练过程中利用模拟退火思想动态选择离线数据或者在线交互经验,获得优化的更新策略,动态平衡在线训练的稳定性和微调性能;第2种设计通过带降温机制的行为克隆约束,改善微调早期使用在线经验更新导致的性能突降,在微调后期逐渐放松约束,促进模型性能提升.实验结果表明,所提出的结合动态缓冲池和时间递减约束的离线到在线强化学习(dynamic replay buffer and time decaying constraints, DRB-TDC)算法在Halfcheetah、Hopper、Walker2d这3个经典MuJoCo测试任务中,在线微调训练后性能分别提升45%、65%、21%,所有任务的平均归一化得分比最优基线算法提升10%.
暂无评论