检索结果-内蒙古大学图书馆

太原师范学院学报（自然科学版） 2021年第3期20卷 48-52页

作者：胡仕柯赵海军西华师范大学计算机学院四川南充637000

针对柔性演员评论家算法训练速度慢且训练过程不稳定的问题,提出了一种改进柔性演员评论家算法.通过在原有算法中引入内在好奇心机制,提高智能体探索能力与样本利用效率,并在仿真环境中用于求解倒立摆问题,实验结果表明文章算法具有更... 详细信息

针对柔性演员评论家算法训练速度慢且训练过程不稳定的问题,提出了一种改进柔性演员评论家算法.通过在原有算法中引入内在好奇心机制,提高智能体探索能力与样本利用效率,并在仿真环境中用于求解倒立摆问题,实验结果表明文章算法具有更佳的收敛速度与稳定性.

关键词：深度强化学习柔性演员评论家算法内在好奇心样本利用效率

来源：评论

学校读者我要写书评

暂无评论

基于改进强化学习的移动机器人动态避障方法

引用

中国惯性技术学报 2023年第1期31卷 92-99页

作者：徐建华邵康康王佳惠刘学聪北京理工大学自动化学院北京100081

针对未知环境下移动机器人动态避障存在规划轨迹长、行驶速度慢和鲁棒性差等问题,提出一种基于改进强化学习的移动机器人动态避障方法。移动机器人根据自身速度、目标位置和激光雷达信息直接得到动作信号,实现端到端的控制。基于距离梯... 详细信息

针对未知环境下移动机器人动态避障存在规划轨迹长、行驶速度慢和鲁棒性差等问题,提出一种基于改进强化学习的移动机器人动态避障方法。移动机器人根据自身速度、目标位置和激光雷达信息直接得到动作信号,实现端到端的控制。基于距离梯度引导和角度梯度引导促使移动机器人向终点方向优化,加快算法的收敛速度;结合卷积神经网络从多维观测数据中提取高质量特征,提升策略训练效果。仿真试验结果表明,在多动态障碍物环境下,所提方法的训练速度提升40%、轨迹长度缩短2.69%以上、平均线速度增加11.87%以上,与现有主流避障方法相比,具有规划轨迹短、行驶速度快、性能稳定等优点,能够实现移动机器人在多障碍物环境下平稳避障。

关键词：移动机器人动态避障强化学习柔性演员评论家算法卷积神经网络

来源：评论

学校读者我要写书评

暂无评论

船舶航行中的姿态预测与路径规划技术研究

船舶航行中的姿态预测与路径规划技术研究

引用

作者：刘幸源西安电子科技大学

学位级别：硕士

海洋运输是国际贸易的重要组成部分,随着全球贸易的持续增长,船舶作为水上交通工具,扮演着越来越重要的角色。与此同时,其航行安全问题也逐渐受到广泛关注。近年来,传感器、大数据、物联网、人工智能等技术的应用使得船舶变得更加专业... 详细信息

海洋运输是国际贸易的重要组成部分,随着全球贸易的持续增长,船舶作为水上交通工具,扮演着越来越重要的角色。与此同时,其航行安全问题也逐渐受到广泛关注。近年来,传感器、大数据、物联网、人工智能等技术的应用使得船舶变得更加专业化、智能化,随着这些技术的快速发展,以安全为核心的智能船舶技术已成为现代航运业的重要发展方向之一。船舶航行安全是学术界研究的热点,本文针对涉及船舶航行安全的两个课题——运动姿态预测和路径规划展开研究,并提出了相关的智能算法,其中前者属于遇险预警救助技术,后者属于航线规划与自主航行技术。本文的研究工作主要包括以下两个方面: (1)在船舶运动姿态预测方面,总结并分析了常用的船舶运动姿态预测方法,介绍了船舶的六自由度运动以及运动姿态数据的特点。在此基础上,针对船舶运动姿态数据存在非平稳、非线性和随机性的特点,采用互补集合经验模态分解算法(Complementary Ensemble Empirical Mode Decomposition,CEEMD)对其进行分解,得到多个具有不同特征的本征模态函数(Intrinsic Mode Function,IMF)分量和残差信号(Residual Signal,Res)。在分析了循环神经网络(Recurrent Neural Network,RNN)、长短期记忆(Long and Short Term Memory,LSTM)网络以及门控循环单元(Gated Recurrent Unit,GRU)网络的原理及应用基础上,选用GRU学习船舶运动姿态数据的各IMF分量和Res,然后对其进行预测,最后将各IMF分量和Res的预测结果相加得到船舶运动姿态的预测值。在神经网络模型的搭建过程中,超参数的设置对训练结果有重要影响,随机设置超参数易导致网络收敛速度慢,预测精度差等问题。为进一步提高网络模型的预测精度,解决算法参数难以确定的问题,引入鲸鱼优化算法(Whale Optimization Algorithm,WOA)寻找最优超参数,进而减少网络训练时间,提高模型预测准确度。仿真实验表明,本文提出的基于CEEMD、WOA和GRU结合的模型(CWGRU)能够有效地实现对船舶运动姿态的短期预测,相比于GRU和WOA-GRU(WGRU)模型,具有较高的相关系数、较低的预测误差以及更好的预测效果。 (2)在船舶路径规划方面,介绍了近年来船舶路径规划的研究现状以及常用的路径规划算法,研究了船舶平面运动的数学模型、基于《国际海上避碰规则》(International Regulations for Preventing Collisions at Sea,COLREGS)约束下船舶避碰问题的四种情景,以及船舶领域和碰撞危险度的相关理论。在此基础上,考虑到柔性演员评论家(Soft Actor Critic,SAC)算法通过引入熵最大化的方式使其具有很强的探索性,适合解决连续动作空间下的路径规划问题,本文设计了基于SAC算法的船舶路径规划模型。然而SAC算法在经验回放的过程中以等概率的方式随机采样,忽略了具有高时序差分误差(Temporal Difference error,TD-error)以及立即奖励(Reward)值的经验,导致经验利用率不高,算法收敛速度较慢等问题。针对该问题,本文提出了CPER-SAC(CSAC)算法,该算法引入了复合优先经验回放机制(Composite Priority Experience Replay,CPER),对经验数据的TD-error和Reward值分别排序,然后根据排序结果构建复合优先级,在算法训练的过程中对经验数据进行复合优先采样,以改善算法的训练效果。针对常见的强化学习算法使用稀疏奖励导致智能体在航行的过程中缺乏引导,而存在盲目搜索的现象,本文参考人工势场法(Artificial Potential Field,APF)的思想改进了CSAC算法的状态空间以及奖励函数,提出了CPER-SAC-APF(CSAC-APF)算法。仿真结果表明,与深度Q网络(Deep Q Network,DQN)、SAC及CSAC算法相比,应用CSAC-APF算法构建的船舶路径规划模型在航行过程中拥有更高的累积奖励以及较少的移动步数,在会遇场景下能够执行相应的避碰动作,最终实现船舶的安全航行。

关键词：船舶航行安全运动姿态预测路径规划柔性演员评论家算法鲸鱼优化算法复合优先经验回放

来源：评论

学校读者我要写书评

暂无评论

基于SAC的移动边缘计算卸载与资源优化方法研究

基于SAC的移动边缘计算卸载与资源优化方法研究

引用

作者：王超北京交通大学

学位级别：硕士

随着新型智能应用的不断涌现,用户设备面临着更高的性能需求。然而,用户设备自身的性能瓶颈使其难以满足这种持续增长的需求。移动边缘计算(Mobile Edge Computing,MEC)将计算资源分布式地部署在网络边缘,使得用户设备能够在离自身更近... 详细信息

随着新型智能应用的不断涌现,用户设备面临着更高的性能需求。然而,用户设备自身的性能瓶颈使其难以满足这种持续增长的需求。移动边缘计算(Mobile Edge Computing,MEC)将计算资源分布式地部署在网络边缘,使得用户设备能够在离自身更近的地方执行计算任务,拓展并提升了用户设备的性能。然而,如何在边缘节点的有限资源下实现高效的计算卸载决策、优化MEC系统的资源利用、降低任务的计算时延和用户设备的能耗,仍然是一个极具挑战的研究问题。针对MEC场景中计算卸载与资源优化问题,传统的解决方案往往无法有效地解决。因此,本文选择了在连续动作空间任务中取得优异性能的深度强化学习算法—柔性演员评论家算法(Soft Actor-Critic,SAC),并提出了基于SAC的解决方案。本文主要开展的工作如下: (1)针对单服务器多用户MEC场景及其计算卸载与资源优化问题,本文考虑配有单服务器的单无人机辅助的MEC场景,建立了该场景下的系统模型和最小化任务处理时延和用户设备能耗加权和的问题优化模型。为了优化无人机移动控制以及用户计算卸载策略,本文提出了一种基于SAC的单服务器计算卸载与资源优化算法SACSCORO。该算法融合了强调近期经验回放机制,加快收敛速度,并在一定程度上提升了算法性能。实验结果表明,与四种基线算法相比,SACSCORO算法在不同任务大小、不同MEC服务器计算能力和不同用户设备数量等条件下均能获得更低的系统成本。 (2)本文进一步探究更为复杂的MEC应用场景,即多服务器多用户场景。该场景需要进一步考虑多用户联合策略、任务卸载到哪个服务器以及传输功率控制对系统成本的影响。针对多服务器多用户MEC场景下的计算卸载与资源优化问题,本文建立了相应的MEC系统模型和以最小化时延和能耗加权总成本为优化目标的问题优化模型。同时,本文提出了一种基于SAC的多服务器计算卸载与资源优化算法SACMCORO,以优化用户计算卸载决策和传输功率控制的多用户联合策略。为验证算法性能,本文在不同任务大小、不同服务器数量和不同用户数设备量等条件下进行仿真对比实验。实验结果表明,相较于TD3和DDPG等四种基线算法,SACMCORO算法能够获得更低的系统成本,且能得到更高的卸载成功率,更加高效地利用了系统资源,均衡服务器负载。

关键词：移动边缘计算计算卸载资源优化柔性演员评论家算法

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：