检索结果-内蒙古大学图书馆

自动化学报 2021年第7期47卷 1679-1688页

作者：何斌刘全张琳琳时圣苗陈红名闫岩苏州大学计算机科学与技术学院苏州215006 苏州大学江苏省计算机信息处理技术重点实验室苏州215006 吉林大学符号计算与知识工程教育部重点实验室长春130012 软件新技术与产业化协同创新中心南京210000

时间差分算法(Temporal difference methods,TD)是一类模型无关的强化学习算法.该算法拥有较低的方差和可以在线(On-line)学习的优点,得到了广泛的应用.但对于一种给定的TD算法,往往只能通过调整步长参数或其他超参数来加速收敛,这也就... 详细信息

时间差分算法(Temporal difference methods,TD)是一类模型无关的强化学习算法.该算法拥有较低的方差和可以在线(On-line)学习的优点,得到了广泛的应用.但对于一种给定的TD算法,往往只能通过调整步长参数或其他超参数来加速收敛,这也就造成了加速TD算法收敛的方法匮乏.针对此问题提出了一种利用蒙特卡洛算法(Monte Carlo methods,MC)来加速TD算法收敛的方法(Accelerate TD by MC,ATDMC).该方法不仅可以适用于绝大部分的TD算法,而且不需要改变在线学习的方式.为了证明方法的有效性,分别在同策略(On-policy)评估、异策略(Off-policy)评估和控制(Control)三个方面进行了实验.实验结果表明ATDMC方法可以有效地加速各类TD算法.

关键词：强化学习时间差分算法蒙特卡罗算法加速收敛

来源：评论

学校读者我要写书评

暂无评论

采用分类经验回放的深度确定性策略梯度方法

引用

自动化学报 2022年第7期48卷 1816-1823页

作者：时圣苗刘全苏州大学计算机科学与技术学院苏州215006 苏州大学江苏省计算机信息处理技术重点实验室苏州215006 吉林大学符号计算与知识工程教育部重点实验室长春130012 软件新技术与产业化协同创新中心南京210000

深度确定性策略梯度(Deep deterministic policy gradient,DDPG)方法在连续控制任务中取得了良好的性能表现.为进一步提高深度确定性策略梯度方法中经验回放机制的效率,提出分类经验回放方法,并采用两种方式对经验样本分类:基于时序差... 详细信息

深度确定性策略梯度(Deep deterministic policy gradient,DDPG)方法在连续控制任务中取得了良好的性能表现.为进一步提高深度确定性策略梯度方法中经验回放机制的效率,提出分类经验回放方法,并采用两种方式对经验样本分类:基于时序差分误差样本分类的深度确定性策略梯度方法(DDPG with temporal difference-error classification,TDCDDPG)和基于立即奖赏样本分类的深度确定性策略梯度方法(DDPG with reward classification,RC-DDPG).在TDCDDPG和RC-DDPG方法中,分别使用两个经验缓冲池,对产生的经验样本按照重要性程度分类存储,网络模型训练时通过选取较多重要性程度高的样本加快模型学习.在连续控制任务中对分类经验回放方法进行测试,实验结果表明,与随机选取经验样本的深度确定性策略梯度方法相比,TDC-DDPG和RC-DDPG方法具有更好的性能.

关键词：连续控制任务深度确定性策略梯度经验回放分类经验回放

来源：评论

学校读者我要写书评

暂无评论

带最大熵修正的行动者评论家算法

引用

计算机学报 2020年第10期43卷 1897-1908页

作者：姜玉斌刘全胡智慧苏州大学计算机科学与技术学院江苏苏州215006 苏州大学江苏省计算机信息处理技术重点实验室江苏苏州215006 吉林大学符号计算与知识工程教育部重点实验室长春130012 软件新技术与产业化协同创新中心南京210000

在行动者评论家算法中,策略梯度通常使用最大熵正则项来提高行动策略的随机性以保证探索.策略的随机使Agent能够遍历所有动作,但是会造成值函数的低估并影响算法的收敛速度与稳定性.针对策略梯度中最大熵正则项带来的低估问题,提出最大... 详细信息

在行动者评论家算法中,策略梯度通常使用最大熵正则项来提高行动策略的随机性以保证探索.策略的随机使Agent能够遍历所有动作,但是会造成值函数的低估并影响算法的收敛速度与稳定性.针对策略梯度中最大熵正则项带来的低估问题,提出最大熵修正(Maximum-Entropy Correction,MEC)算法.该算法有两个特点:(1)利用状态值函数与策略函数构造一种状态动作值函数的估计,构造的状态动作值函数符合真实值函数的分布;(2)将贝尔曼最优方程与构造的状态动作值函数结合作为MEC算法的目标函数.通过使用新的目标函数,MEC算法可以解决使用最大熵正则项带来的性能下降与不稳定.为了验证算法的有效性,将该算法与近似策略优化算法以及优势行动者评论家算法在Atari 2600游戏平台进行比较实验.实验结果表明,MEC在改进性能的同时提高了算法的稳定性.

关键词：强化学习深度学习行动者评论家算法最大熵策略梯度

来源：评论

学校读者我要写书评

暂无评论

一种带自适应学习率的综合随机梯度下降Q-学习方法

引用

计算机学报 2019年第10期42卷 2203-2215页

作者：金海东刘全陈冬火苏州大学计算机科学与技术学院江苏苏州215006 软件新技术与产业化协同创新中心南京210000 吉林大学符号计算与知识工程教育部重点实验室长春130012 苏州大学江苏省计算机信息处理技术重点实验室江苏苏州215006

在线强化学习中,值函数的逼近通常采用随机梯度下降(Stochastic Gradient Descent,SGD)方法.在每个时间步,SGD方法使用强化学习算法获取随机样本,计算损失函数的局部梯度,单次模型参数更新的计算量小,适合在线学习.但是,由于目标函数不... 详细信息

在线强化学习中,值函数的逼近通常采用随机梯度下降(Stochastic Gradient Descent,SGD)方法.在每个时间步,SGD方法使用强化学习算法获取随机样本,计算损失函数的局部梯度,单次模型参数更新的计算量小,适合在线学习.但是,由于目标函数不同维度存在梯度差异,SGD方法会产生优化震荡,导致迭代次数增多,收敛速度变慢甚至不能收敛.本文提出一种带自适应学习率的综合随机梯度下降方法(Adaptive Learning Rate on Integrated Stochastic Gradient Descent,ALRI-SGD),对SGD做了两方面改进:(1)在基于参数预测的基础上,利用历史随机梯度信息综合计算当前时间步的更新梯度;(2)根据不同维度的历史梯度信息,动态计算每个维度的学习率.在一定的数学约束条件下,证明了ALRI-SGD方法的收敛性.把ALRI-SGD方法与基于线性函数逼近的离策略Q-学习算法结合,用于求解强化学习中经典的Mountain Car问题和平衡杆问题,并与基于SGD的Q-学习算法进行实验比较.实验结果表明,ALRI-SGD方法能动态匹配模型参数在不同维度上的梯度差异,并使学习率自动更新以适应不同维度的数据特征.ALRI-SGD方法在收敛效率和收敛稳定性两个方面都有提升.

关键词：强化学习综合随机梯度下降自适应学习率参数预测 Q-学习

来源：评论

学校读者我要写书评

暂无评论

一种带探索噪音的深度循环Q网络

引用

计算机学报 2019年第7期42卷 1588-1604页

作者：刘全闫岩朱斐吴文张琳琳苏州大学计算机科学与技术学院江苏苏州215006 软件新技术与产业化协同创新中心南京210000 吉林大学符号计算与知识工程教育部重点实验室长春130012 苏州大学江苏省计算机信息处理技术重点实验室江苏苏州215006

结合深度神经网络和强化学习方法的深度Q网络在Atari 2600游戏平台上取得了巨大成功.相较于深度Q网络,深度循环Q网络具有记忆历史信息的能力,在部分游戏上显示出了更好的性能.然而在某些复杂的游戏环境中,一方面深度循环Q网络需要大量... 详细信息

结合深度神经网络和强化学习方法的深度Q网络在Atari 2600游戏平台上取得了巨大成功.相较于深度Q网络,深度循环Q网络具有记忆历史信息的能力,在部分游戏上显示出了更好的性能.然而在某些复杂的游戏环境中,一方面深度循环Q网络需要大量的训练时间,另一方面其在动作空间抖动的策略中不能做出合理决策.针对这些问题,本文提出一种带探索噪音的深度循环Q网络(Deep Recurrent Q-Networks with Exploratory Noise, EN-DRQN)模型.与在动作空间的探索方式不同,EN-DRQN在网络空间注入噪音,引起网络输出变化,然后根据该变化选择动作.这种在网络空间的探索可以在未来多个时间步内造成复杂的改变,并通过循环神经网络记忆多步变化,使智能体(Agent)做出的决策更具有战略性.EN-DRQN具有以下特点:一是利用带探索性的噪音进行深度探索以弥补传统策略探索的低效性.噪音来自于噪音分布,通过方差驱动探索,这使得Agent可以发现大量新状态,提供更加丰富的样本,为决策提供有效信息;二是使用改进的双层门限循环单元来记忆较长时间步的历史信息,使Agent能够在延迟奖赏的情况下做出合理的决策.实验结果表明,EN-DRQN模型在Atari 2600游戏平台上的部分战略性游戏以及具有延迟奖赏的游戏上,与动作空间的抖动策略相比,取得了更优的表现。

关键词：深度学习强化学习循环神经网络卷积神经网络噪音探索

来源：评论

学校读者我要写书评

暂无评论

基于经验指导的深度确定性多行动者-评论家算法

引用

计算机研究与发展 2019年第8期56卷 1708-1720页

作者：陈红名刘全闫岩何斌姜玉斌张琳琳苏州大学计算机科学与技术学院江苏苏州215006 江苏省计算机信息处理技术重点实验室(苏州大学) 江苏苏州215006 符号计算与知识工程教育部重点实验室(吉林大学) 长春130012 软件新技术与产业化协同创新中心南京210000

连续控制问题一直是强化学习研究的一个重要方向.近些年深度学习的发展以及确定性策略梯度(deterministic policy gradients, DPG)算法的提出,为解决连续控制问题提供了很多好的思路.这类方法大多在动作空间中加入外部噪声源进行探索,... 详细信息

连续控制问题一直是强化学习研究的一个重要方向.近些年深度学习的发展以及确定性策略梯度(deterministic policy gradients, DPG)算法的提出,为解决连续控制问题提供了很多好的思路.这类方法大多在动作空间中加入外部噪声源进行探索,但是它们在一些连续控制任务中的表现并不是很好.为更好地解决探索问题,提出了一种基于经验指导的深度确定性多行动者评论家算法(experience-guided deep deterministic actor-critic with multi-actor, EGDDAC-MA),该算法不需要外部探索噪声,而是从自身优秀经验中学习得到一个指导网络,对动作选择和值函数的更新进行指导.此外,为了缓解网络学习的波动性,算法使用多行动者评论家模型,模型中的多个行动者网络之间互不干扰,各自执行情节的不同阶段.实验表明:相比于DDPG,TRPO和PPO算法,EGDDAC-MA算法在GYM仿真平台中的大多数连续任务中有更好的表现.

关键词：强化学习深度强化学习确定性行动者评论家经验指导专家指导多行动者

来源：评论

学校读者我要写书评

暂无评论

基于IPSec协议的LinuxVPN安全网关的研究与设计

引用

小型微型计算机系统 2001年第7期22卷 878-880页

作者：陆建德苏州大学计算机系江苏省计算机信息处理技术重点实验室江苏苏州215006

Internet网络通信的安全性日益受到人们的关注 .IETF制订了用来增强 IP站点间安全性的协议 IPSec,本文在对 IPSec协议分析的基础上 ,对在 L inux上设计和实现 VPN安全网关进行了详细的剖析和讨论 .

关键词： IPSec协议 VPN Linux 隧道封装 DES 网关 Internet 防火墙网络安全

来源：评论

学校读者我要写书评

暂无评论

协作信息平台中协作内容自动匹配方法的设计与实现

引用

南京大学学报（自然科学版） 2005年第z1期41卷 429-433页

作者：李培峰朱巧明杨蓓虹苏州大学计算机科学与技术学院苏州215006 江苏省计算机信息处理新技术重点实验室苏州215006 　

首先介绍了一个企业协作信息平台的基本框架,分析了实现协作信息平台中协作内容自动匹配的重要性和必要性,提出了在向量空间模型(VSM)的基础上,通过规则提取、查询扩展、潜在语义索引和相关反馈相结合的方法实现企业协作信息网平台中信... 详细信息

首先介绍了一个企业协作信息平台的基本框架,分析了实现协作信息平台中协作内容自动匹配的重要性和必要性,提出了在向量空间模型(VSM)的基础上,通过规则提取、查询扩展、潜在语义索引和相关反馈相结合的方法实现企业协作信息网平台中信息的自动匹配和检索,并给出相关实验结果.

关键词：协作信息平台内容自动匹配特征项提取特征项权重潜在语义索引

来源：评论

学校读者我要写书评

暂无评论

一种基于广度优先生成树的无线传感器网络自保护算法

引用

小型微型计算机系统 2014年第10期35卷 2193-2198页

作者：张文哲李蓥苏州大学计算机科学与技术学院江苏省计算机信息处理省重点实验室江苏苏州215006

从无线传感器网络中选取部分节点作为保护节点,为网络提供保护称为无线传感器网络的自保护.前人已经证明自保护问题是NP-完全问题.提出一种基于广度优先生成树的自保护算法,可以高效地分布式地选择保护节点.我们首先为自保护问题建模,... 详细信息

从无线传感器网络中选取部分节点作为保护节点,为网络提供保护称为无线传感器网络的自保护.前人已经证明自保护问题是NP-完全问题.提出一种基于广度优先生成树的自保护算法,可以高效地分布式地选择保护节点.我们首先为自保护问题建模,其次提出了分布式的标记过程,不同于前人工作的是,在保持较小保护节点集合的基础上,我们还保持了保护节点的连通性,使得紧急消息到网关的平均汇报跳数最少,这一特点使得本文算法更加合理可行,从而提高了区域监控应用中传感器网络性能.仿真实验证明,本文算法可行性和有效性.

关键词：无线传感器网络自保护广度优先生成树分层标记

来源：评论

学校读者我要写书评

暂无评论

环境保护地理信息系统的设计

引用

小型微型计算机系统 1998年第10期19卷 78-81页

作者：崔志明倪启东万宏斌孟锡峰苏州大学计算机工程系江苏省计算机信息处理技术重点实验室

设计与开发环境保护地理信息系统是一项非常重要的课题。

关键词：环境保护 GIS 设计环境数据监测

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：