近年来,深度强化学习在复杂控制任务中取得了令人瞩目的效果,然而由于超参数的高敏感性和收敛性难以保证等原因,严重影响了其对现实问题的适用性.元启发式算法作为一类模拟自然界客观规律的黑盒优化方法,虽然能够有效避免超参数的敏感性,但仍存在无法适应待优化参数量规模巨大和样本使用效率低等问题.针对以上问题,提出融合引力搜索的双延迟深度确定策略梯度方法(twin delayed deep deterministic policy gradient based on gravitational search algorithm,GSA-TD3).该方法融合两类算法的优势:一是凭借梯度优化的方式更新策略,获得更高的样本效率和更快的学习速度;二是将基于万有引力定律的种群更新方法引入到策略搜索过程中,使其具有更强的探索性和更好的稳定性.将GSA-TD3应用于一系列复杂控制任务中,实验表明,与前沿的同类深度强化学习方法相比,GSA-TD3在性能上具有显著的优势.
故障诊断是集成电路领域中的重要研究方向,基于测试激励集方法求解候选故障诊断是目前较为高效的诊断方法,而GTreord是目前具有较高诊断准确性的方法.在对GTreord方法深入研究的基础上,本文依据测试激励与候选故障诊断解之间的结构特征,通过分析电路故障输出响应,提出结合结构特征的测试激励集重排序的候选诊断(Reor⁃dering Test Default Diagnosis,RTDD)方法.根据测试激励对生成候选故障诊断解集合的影响程度的不同,提出测试分数概念;通过比较电路的实际故障输出响应、无故障输出响应、模型故障输出响应,计算出测试激励的测试分数.测试激励集依据测试分数进行重排序,并将重排序后的测试激励集用于故障诊断.实验结果表明,与GTreord方法相比,RTDD方法提高了测试激励集重排序的效率,求解时间提高1~4个数量级;此外,在保障同样诊断准确性的情况下,RTDD方法有效减少了所需测试的激励个数.
暂无评论