检索结果-内蒙古大学图书馆

作者：许铭华东交通大学

学位级别：硕士

随着智能设备快速发展,涌现出了诸如智能眼镜,智能化电动汽车等新型智能移动设备(Smart Mobile Device,SMD),这类设备所产生的计算需求多为具有较大数据量的时延敏感(Delay Sensitive,DS)型应用或是对算力需求较高的计算敏感(Computatio... 详细信息

随着智能设备快速发展,涌现出了诸如智能眼镜,智能化电动汽车等新型智能移动设备(Smart Mobile Device,SMD),这类设备所产生的计算需求多为具有较大数据量的时延敏感(Delay Sensitive,DS)型应用或是对算力需求较高的计算敏感(Computation Sensitive,CS)型应用,这类应用给计算能力与电池容量均有限的移动智能设备带来了巨大负担。在这样的背景之下,移动边缘计算(Mobile Edge Computing,MEC)和边缘缓存(Edge Cache,EC)技术的出现为减轻这类SMD的负担提供了新的方案。MEC技术通过在网络的边缘处即靠近用户的基站部署具有一定计算能力的服务器,实现为覆盖范围内的设备提供算力支持;而EC技术能够在MEC服务器中加入存储功能,为MEC网络覆盖范围内的设备提供数据储存服务,降低计算任务的重复计算和重复传输。总而言之,MEC与EC的应用能够很好的降低移动设备本地计算产生的额外的时延与能耗,然而,MEC网络仍然会产生额外的任务传输时延和服务器计算能耗。因此,为充分利用EC技术的缓存能力和MEC网络中的其他网络资源以降低网络中的各类开销,本论文的主要研究内容如下: 1)提出了一种基于粒子群(Particle Swarm Optimization,PSO)的缓存与卸载算法(Cache and Offloading Based on PSO,COPSO)。针对MEC网络中的存在的CS应用和DS应用所产生的额外开销,联合考虑任务缓存和任务卸载策略,以最小化网络时延为目标搭建任务缓存与卸载数学模型。同时,考虑到网络中MEC有限的存储空间与计算资源,将该模型转化为一个多约束的非线性混合整数问题,并使用COPSO进行求解。具体而言,该算法相较于PSO算法对全局最优粒子和个体最佳粒子采用了不同的更新方式。根据在不同数值条件下对算法的仿真与分析可知,COPSO算法实现了较其他对比算法更优的性能。 2)提出了一种基于深度强化学习(Deep Reinforcement Learning,DRL)的缓存计算卸载与资源分配策略。针对CS应用,搭建了一个融合非正交多址技术(Non-Orthogonal Multiple Access,NOMA)和MEC网络的混合缓存系统模型,该网络模型除了在考虑基站的缓存资源分配的同时,也考虑了对子信道的划分、并引入了MEC服务器间的任务转发计算机制,最后构建了一个以最小化SMD的本地能耗为目标,在时延、缓存空间、计算资源、子信道空间等多个约束条件下的一个联合多设备关联与卸载、缓存等多资源分配优化模型。为解决该优化问题,提出了一种基于DRL的双延迟深度确定性策略梯度算法(Twin Delayed Deep Deterministic Policy Gradient,TD3)以设计计算卸载与资源分配策略,同时为使该优化问题模型适用于所提出算法,该部分还设计了一种策略转换算法(Policy Transformation,PT)以实现算法输出与网络实际策略间的转换。根据在不同数值条件下对算法的仿真与分析可知,算法实现了较其他对比算法更优的性能。

关键词：移动边缘计算边缘缓存非正交多址接入计算卸载粒子群算法双延迟深度确定性策略梯度算法

来源：评论

学校读者我要写书评

暂无评论

基于深度强化学习的柔性作业车间调度问题研究

基于深度强化学习的柔性作业车间调度问题研究

引用

作者：崔雪艳湖南工业大学

学位级别：硕士

柔性作业车间调度问题(Flexible Job Shop Scheduling Problem,FJSP)是一个经典的NP-Hard问题,其调度方案的优劣直接影响制造系统的运行效率。然而,传统的调度算法在求解FJSP时存在泛化性差的问题,尤其随着FJSP规模增大,面临计算时间过... 详细信息

柔性作业车间调度问题(Flexible Job Shop Scheduling Problem,FJSP)是一个经典的NP-Hard问题,其调度方案的优劣直接影响制造系统的运行效率。然而,传统的调度算法在求解FJSP时存在泛化性差的问题,尤其随着FJSP规模增大,面临计算时间过长以及维数灾难等问题。在实际生产环境中,由于机器故障以及其它不确定因素,使得原有的生产调度信息可能会发生变动,这便迫切要求对已确定的柔性作业车间调度方案进行必要的调整。因此,论文围绕基于深度强化学习的柔性作业车间调度问题展开深入研究。研究内容主要包括以下两个方面: (1)在求解静态FJSP时,针对启发式调度规则的短视性、元启发式算法的计算时间长且算法参数较难确定以及传统强化学习方法随着问题规模增大而发生的维数灾难等问题,提出了一种基于演员评论家算法(Actor Critic Algorithm,ACA)的柔性作业车间调度方法。首先,将FJSP建模为一个马尔科夫决策过程(Markov Decision Process,MDP)。然后,构建了一个用于求解FJSP的ACA模型,演员网络负责在不同状态下选择最合适的调度规则,评论家网络负责输出动作的值函数并反馈给演员网络以更好地调整调度策略。实验结果表明,提出的基于ACA的柔性作业车间调度方法在求解质量方面显著优于启发式调度规则和双深度Q网络(Double Deep Q-Network,DDQN)。与元启发式算法和自学习遗传算法(Self-Learning Genetic Algorithm,SLGA)相比,所提出方法在取得同等求解质量的情况下具有更高的求解效率。 (2)在求解动态FJSP时,针对实际生产中存在的机器故障、新工件插入等动态事件,提出了一种基于DIFFormer和双延迟深度确定性策略梯度算法(DIFFormer and Twin Delayed Deep Deterministic Policy Gradient Algorithm,DTD3A)的双目标动态柔性作业车间调度方法。首先,将动态FJSP建模为一个MDP,其中以异构图的形式构造状态空间、以最小化最大完工时间和最大化机器利用率为优化目标设计奖励函数。接着,采用DIFFormer对工序节点和机器节点进行编码处理,以更好地捕获节点之间的复杂依赖关系。然后,针对机器故障、新工件插入等动态事件设计了一种自适应重调度策略。最后,采用双延迟深度确定性策略梯度算法进行柔性作业车间调度模型的高效训练。实验结果表明,在求解动态FJSP实例时,提出的基于D-TD3A的双目标动态柔性作业车间调度方法在求解质量上远优于复合调度规则和指针网络调度方法。

关键词：柔性作业车间调度深度强化学习演员评论家算法双延迟深度确定性策略梯度算法

来源：评论

学校读者我要写书评

暂无评论

基于改进TD3算法的无人机决策研究

引用

信息化研究 2023年第3期49卷 36-42页

作者：蒋方庆陈自力高喜俊王春峰贺道坤陆军工程大学石家庄校区石家庄050003 南京信息职业技术学院智能制造学院南京210023

针对无人机在执行打击任务时,对飞行区域的环境掌握甚少、飞行区域大、目标稀疏、火力威胁等相对不确定因素会导致任务的完成度低的问题。本文提出利用双策略网络对双延迟深度确定性策略梯度算法(TD3)进行改进,解决单策略动作波动大问... 详细信息

针对无人机在执行打击任务时,对飞行区域的环境掌握甚少、飞行区域大、目标稀疏、火力威胁等相对不确定因素会导致任务的完成度低的问题。本文提出利用双策略网络对双延迟深度确定性策略梯度算法(TD3)进行改进,解决单策略动作波动大问题。针对优质训练样本利用率低导致的收敛速度慢问题,采用优先经验回放机制提高优质样本利用率。使用改进后的TD3算法训练无人机,通过改变偏航角、俯仰角以及速度控制无人机飞行,无人机在三维环境中完成抵近打击任务并规避威胁。实验结果表明,改进后的算法相比于传统TD3算法,算法收敛的速度更快,无人机的任务完成度可相对提高15%。

关键词：无人机双延迟深度确定性策略梯度算法双策略网络优先经验回放

来源：评论

学校读者我要写书评

暂无评论

基于改进TD3算法的无人机轨迹规划

引用

计算机系统应用 2024年第12期33卷 197-209页

作者：牟文心时宏伟四川大学计算机学院成都610065

深度强化学习算法在无人机的航迹规划任务中的应用越来越广泛,但是许多研究没有考虑随机变化的复杂场景,针对以上问题,本文提出一种基于TD3改进的PP-CMNTD3算法,提出了一种简单有效的先验策略并且借鉴人工势场的思想设计了密集奖励,能... 详细信息

深度强化学习算法在无人机的航迹规划任务中的应用越来越广泛,但是许多研究没有考虑随机变化的复杂场景,针对以上问题,本文提出一种基于TD3改进的PP-CMNTD3算法,提出了一种简单有效的先验策略并且借鉴人工势场的思想设计了密集奖励,能够更好地引导无人机有效避开障碍物并且快速接近目标点.仿真结果表明,算法的改进可以有效提高网络的训练效率以及在复杂场景中的航迹规划表现,同时能够在不同初始电量的情况下都能够灵活调整策略,做到在能耗和迅速抵达目的地之间的有效平衡.

关键词：深度强化学习无人机航迹规划人工势场双延迟深度确定性策略梯度算法

来源：评论

学校读者我要写书评

暂无评论

基于改进TD3算法的综合能源系统低碳经济调度

引用

电力科学与工程 2023年第10期39卷 52-62页

作者：邱革非何虹辉刘铠铭罗世杰何超沈赋昆明理工大学电力工程学院云南昆明650502

在用传统调度方法进行综合能源系统低碳经济调度时会面临数据维数高、建模难度大等困难。虽然用基于数据驱动自适应挖掘物理模型的深度强化学习算法有希望克服这些困难,且其中确定性策略梯度算法尤其适用于连续决策变量问题的求解,但该... 详细信息

在用传统调度方法进行综合能源系统低碳经济调度时会面临数据维数高、建模难度大等困难。虽然用基于数据驱动自适应挖掘物理模型的深度强化学习算法有希望克服这些困难,且其中确定性策略梯度算法尤其适用于连续决策变量问题的求解,但该算法在实际应用时存在训练效率普遍较低的问题。对此,提出了一种基于改进双延迟深度确定性策略梯度算法的调度决策模型。首先基于综合能源系统低碳经济调度特性建立序贯马尔可夫决策过程模型;进而应用改进双延迟深度确定性策略梯度算法构建并训练神经网络,避免过估计并提高网络输出稳定性。同时,为提升网络训练效率,以求和树对训练过程中的历史经验数据进行存储和经验回放采样。实验结果表明,所提方法能对综合能源系统低碳经济调度问题进行有效求解,且比传统强化学习算法表现更优。

关键词：综合能源系统低碳经济调度电力系统调度深度强化学习算法求和树双延迟深度确定性策略梯度算法

来源：评论

学校读者我要写书评

暂无评论

基于多智能体深度强化学习的实时配电网电压优化控制方法研究

引用

电器工业 2024年第5期 40-44页

作者：周荃国网江苏省电力有限公司丹阳市供电分公司

本研究致力于配电网电压优化控制,特别是在动态和不确定性环境中。研究采用多智能体深度强化学习(MADRL)方法,并引入改进型双延迟深度确定性策略梯度(TD3)算法,克服了深度Q网络(DQN)和深度确定性策略梯度(DDPG)在高维问题处理和Q值估计... 详细信息

本研究致力于配电网电压优化控制,特别是在动态和不确定性环境中。研究采用多智能体深度强化学习(MADRL)方法,并引入改进型双延迟深度确定性策略梯度(TD3)算法,克服了深度Q网络(DQN)和深度确定性策略梯度(DDPG)在高维问题处理和Q值估计中的局限性。通过仿真测试,研究展示了该方法在电压控制和降低网损方面的显著优势,特别在多变电网环境中表现出高效的适应性和鲁棒性。本研究不仅推进了MADRL技术在电力系统中的应用,也为实际电网运行提供了有效的控制策略,增强了电力系统的可靠性和稳定性。

关键词：配电网电压控制多智能体深度强化学习双延迟深度确定性策略梯度算法电网鲁棒性

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：