检索结果-内蒙古大学图书馆

作者：张敏可华东师范大学

学位级别：硕士

强化学习目前是机器学习领域所研究的重要内容,其关注的是智能体如何在与环境不断进行试错交互的过程中寻求使得期望累积奖励最大化的策略。在强化学习领域的研究方法中,当学习过程中产生样本数据的行为策略与待评估的目标策略相同时,称... 详细信息

强化学习目前是机器学习领域所研究的重要内容,其关注的是智能体如何在与环境不断进行试错交互的过程中寻求使得期望累积奖励最大化的策略。在强化学习领域的研究方法中,当学习过程中产生样本数据的行为策略与待评估的目标策略相同时,称为on-policy学习方法,当两者不同时称为off-policy学习方法。与on-policy学习方法相比较,off-policy学习方法在实际问题中的应用范围更加广泛,目前已经成为强化学习领域的研究热点之一。在强化学习领域常用的off-policy学习方法中,大多数科研学者更加关注的是off-policy策略评估问题,off-policy学习以off-policy策略评估问题为基础。在off-policy策略评估问题中,时序差分算法是一类常见的方法。当状态空间较大时,通常采用函数近似的方法,然而在off-policy情形下,基于函数近似的时序差分算法会出现发散的情况。为解决这一问题,目前一些流行的时序差分算法,如梯度时序差分算法和强调时序差分算法等先后被提出,但梯度时序差分算法面临着收敛条件较为严格,且收敛速度慢的问题。本文探究了在off-policy情形下,基于线性函数近似的时序差分算法发散的具体原因,并提出了一种具有分布适应性的off-policy时序差分算法,简称DAOPTD(λ)算法。该算法通过引入目标策略与行为策略的平稳状态分布比这一变量来调节目标策略与行为策略之间的分布差异,可将off-policy样本数据的分布适应于on-policy样本数据的分布,解决了基于线性函数近似的off-policy时序差分算法出现的发散性问题,并在相对宽松的假设条件下给出了该算法收敛性的证明,同时在一定的假设条件下,推导出了该算法误差矩的有限时间误差界,进一步推进了强化学习领域中off-policy学习的发展。此外,为了验证该算法的实际经验性质,本文通过在强化学习领域常用的实验环境Baird的7星反例中进行试验模拟,探究了温度参数和权重对本文所提出的算法表现性能的影响,并在相同条件下,将该算法与梯度时序差分算法和强调时序差分算法的实验结果进行比较,模拟结果表明,本文所提出的算法表现性能更好。

关键词： Off-policy学习函数近似时序差分算法平稳状态分布比

来源：评论

学校读者我要写书评

暂无评论

基于时序差分算法的线损异常判别优化研究

基于时序差分算法的线损异常判别优化研究

引用

2016年中国电机工程学会年会

作者：韦杏秋陈俊李刚龙东郭小璇广西电网有限责任公司电力科学研究院广西省南宁市 530022

为了提高电网监控智能化,降低线损计算误差,提出了基于时序差分算法的线损异常识别优化模型,识别异常线路和异常点,在此基础上,根据历史发售电数据对异常点进行修正,从而达到优化异常线路,提高线损计算精确度的目的.仿真实验结果研究表... 详细信息

为了提高电网监控智能化,降低线损计算误差,提出了基于时序差分算法的线损异常识别优化模型,识别异常线路和异常点,在此基础上,根据历史发售电数据对异常点进行修正,从而达到优化异常线路,提高线损计算精确度的目的.仿真实验结果研究表明,对比传统方法,时序差分化异常识别优化模型的准确率更高,耗时更少.

关键词：电网监控时序差分算法线损异常识别优化模型

来源：评论

学校读者我要写书评

暂无评论

基于强化学习的过热汽温自适应PI控制器设计

引用

江苏大学学报（自然科学版） 2022年第6期43卷 685-690页

作者：于来宝谢兴旺宋晶袁博中国地质大学地球物理与空间信息学院湖北武汉430074 武汉城市职业学院机电学院湖北武汉430070 华中科技大学人工智能与自动化学院湖北武汉430074

针对锅炉过热汽温模型结构和参数发生较大变化时常规PID控制效果难以令人满意的问题,提出一款基于actor-critic(AC)强化学习(reinforcement learning, RL)的自适应PI控制器.控制器采用径向基神经网络(RBF-NN)实现AC强化学习结构,其中ac... 详细信息

针对锅炉过热汽温模型结构和参数发生较大变化时常规PID控制效果难以令人满意的问题,提出一款基于actor-critic(AC)强化学习(reinforcement learning, RL)的自适应PI控制器.控制器采用径向基神经网络(RBF-NN)实现AC强化学习结构,其中actor网络输出为PI控制器参数,cri-tic网络对actor网络输出进行评判以生成时序差分(temporal difference, TD)误差信号,TD误差信号驱动RBF网络权值在线更新.介绍了锅炉过热汽温控制系统结构特点,给出了RL-PI控制器设计和算法执行步骤.完成了锅炉过热汽温控制系统的设计.以典型的非线性时变锅炉过热汽温系统为被控对象,进行了正常工况、增益增大、惯性增大、增益突变、惯性突变以及加扰动等6种工况下的仿真试验.结果表明:与模型预测控制、模糊控制以及常规PI串级控制方法相比,该RL-PI控制器具有明显的优势,能够极大提高系统适应工况变换的能力,且具有更强的自学习能力,收敛速度更快,鲁棒性更强.

关键词：过热汽温 actor-critic学习强化学习机器学习径向基网络时序差分算法自适应控制 PI控制

来源：评论

学校读者我要写书评

暂无评论

Q-learning强化学习制导律

引用

系统工程与电子技术 2020年第2期42卷 414-419页

作者：张秦浩敖百强张秦雪北京电子工程总体研究所北京100854 北华航天工业学院计算机学院河北廊坊065000

在未来的战场中,智能导弹将成为精确有效的打击武器,导弹智能化已成为一种主要的发展趋势。本文以传统的比例制导律为基础,提出基于强化学习的变比例系数制导算法。该算法以视线转率作为状态,依据脱靶量设计奖励函数,并设计离散化的行... 详细信息

在未来的战场中,智能导弹将成为精确有效的打击武器,导弹智能化已成为一种主要的发展趋势。本文以传统的比例制导律为基础,提出基于强化学习的变比例系数制导算法。该算法以视线转率作为状态,依据脱靶量设计奖励函数,并设计离散化的行为空间,为导弹选择正确的制导指令。实验仿真验证了所提算法比传统的比例制导律拥有更好的制导精度,并使导弹拥有了自主决策能力。

关键词：比例制导制导律脱靶量机动目标强化学习 Q学习时序差分算法

来源：评论

学校读者我要写书评

暂无评论

软件定义卫星姿态控制强化学习算法研究

软件定义卫星姿态控制强化学习算法研究

引用

作者：许轲中国科学院大学

学位级别：博士

随着卫星数量井喷式增长，对卫星姿态控制系统智能化、可重构、低成本等方面的关注在不断提升。软件定义卫星以计算为基础，软件为核心，可为智能姿控算法在轨运行提供足够的计算资源。为了满足可软件定义，软件定义卫星需要进一步研究... 详细信息

随着卫星数量井喷式增长，对卫星姿态控制系统智能化、可重构、低成本等方面的关注在不断提升。软件定义卫星以计算为基础，软件为核心，可为智能姿控算法在轨运行提供足够的计算资源。为了满足可软件定义，软件定义卫星需要进一步研究标准化、模块化的姿控硬件以及通过学习能适用于不同卫星平台、不同任务需求的姿控软件。强化学习算法作为机器学习类算法中适用于控制系统的一类算法，近年来该领域的飞速发展已经使其在机器人、自动驾驶、无人机等智能控制系统中展现出了优异的性能。因此本文研究了基于强化学习算法的软件定义卫星智能姿态控制系统，主要贡献如下:　　(1)提出了软件定义卫星的姿态控制系统与仿真方法。该方法设计了标准化、模块化的低成本姿控箱，通过更改软件在不同规格的卫星上使用，满足多种卫星姿态控制应用的需求。在硬件上设计了基于工业级器件的执行机构阵列，增加了系统的冗余度、降低了成本;设计了通用的有源以太网(Power Over Ethemet，POE)接口，实现了即插即用的功能。在软件上设计了分层递阶控制，发挥了系统硬件性能的同时提升了控制策略的自适应性。改进了基于STK的卫星姿态仿真系统，能够仿真姿控系统性能下降、空间干扰变化及执行机构发生故障时的情况。　　(2)提出了基于在线强化学习的姿态控制算法，增强了算法在姿控系统执行机构性能发生改变、安装方式变化、干扰力矩变化时的自适应能力，在PID控制需要改变参数时，可以自适应地调节控制策略，无需人工参与和冗余的姿控系统设计，并进行了仿真验证。建立了基于神经网络的卫星姿态状态转移模型和全局策略模型，使卫星可以根据在线生成的数据实时构建动力学和运动学模型，进行在线的策略搜索，优化了控制策略。　　(3)提出了一种改进的强化学习策略搜索算法，提升了强化学习算法策略搜索的能力。为了解决基于模型的姿态控制算法中策略搜索过程容易陷入局部最优且搜索速度慢的问题，使用了并行化的启发式搜索，提升了算法在线策略搜索的效率。为了进一步解决PID控制完全失效时策略搜索难以收敛的问题，设计了深度确定性策略梯度(Deep Deterministic Policy Gradient，DDPG)优化，通过目标网络和经验回放的设计，提升了策略搜索的收敛能力，实现了姿控系统发生故障时的自主故障识别和排除，并进行了仿真验证。　　(4)提出了一种适用于星载有限计算资源和能源的强化学习时序差分算法，提高了强化学习算法在线学习的效率。为了降低时序差分过程在嵌入式系统中的计算耗时，设计了简化在线Q学习(Simplified Online Q-learning，SOQ)过程，优化了Q值表的结构，提高了算法在嵌入式系统中的运行效率。为了进一步在迭代计算中提高时序差分的收敛速度，设计了基于梯度的时序差分(Gradient Temporal Difference，GTD)的切换机制，使用了基于滑模控制的硬切换过程和基于Sigmoid函数的软切换过程，有效提升了强化学习的在线学习效率。

关键词：软件定义卫星姿态控制强化学习时序差分算法启发式搜索

来源：评论

学校读者我要写书评

暂无评论

加强学习主要算法的比较研究

引用

计算机工程与应用 2001年第21期37卷 16-18,48页

作者：郭茂祖刘扬黄梯云哈尔滨工业大学计算机科学与技术学院哈尔滨150001 哈尔滨工业大学管理学院哈尔滨150001

文章介绍了加强学习模型,分别给出了加强学习的四个主要算法:动态规划、蒙特卡罗算法、时序差分算法、Q-学习,并指出了它们之间的区别和联系。最后给出加强学习的两个应用以及今后的研究方向。

关键词：加强学习蒙特卡罗算法时序差分算法 Q-学习机器学习人工智能

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：