检索结果-内蒙古大学图书馆

系统工程与电子技术 2008年第6期30卷 1058-1064页

作者：桂林武小悦国防科技大学信息系统与管理学院湖南长沙410073

部分可观测马尔可夫决策过程(POMDP)是马尔可夫决策过程(MDP)的扩展,它允许系统的状态信息部分可知。但POMDP的可能应用大部分没有实现,这主要是因为缺乏有效的算法。POMDP的算法分为近似算法和精确算法,精确算法是构造近似算法的基础... 详细信息

部分可观测马尔可夫决策过程(POMDP)是马尔可夫决策过程(MDP)的扩展,它允许系统的状态信息部分可知。但POMDP的可能应用大部分没有实现,这主要是因为缺乏有效的算法。POMDP的算法分为近似算法和精确算法,精确算法是构造近似算法的基础。介绍了POMDP模型后,对离散时间、有限状态集的POMDP精确算法和近似算法进行了综述,分析了造成POMDP难以求解的主要原因,提出了进一步的研究方向。

关键词：部分可观测马尔可夫决策过程算法综述

来源：评论

学校读者我要写书评

暂无评论

部分可观测马尔可夫决策过程的状态估计与策略学习

部分可观测马尔可夫决策过程的状态估计与策略学习

引用

作者：刘剑锋河南科技大学

学位级别：博士

近年来,动态、不确定环境下的序贯决策问题成为人工智能和控制等领域的研究热点。部分可观测马尔可夫决策过程(POMDP)为这类问题提供了一个统一的描述框架。由于POMDP模型考虑了状态不确定性对决策带来的影响,因此能够更加客观地描述真... 详细信息

近年来,动态、不确定环境下的序贯决策问题成为人工智能和控制等领域的研究热点。部分可观测马尔可夫决策过程(POMDP)为这类问题提供了一个统一的描述框架。由于POMDP模型考虑了状态不确定性对决策带来的影响,因此能够更加客观地描述真实世界,被广泛应用于科学、工业、商业、军事和社会等领域。然而,实际应用的POMDP模型具有较强的非线性和随机性,存在观测信息易受时变噪声和野值干扰、多智能体协同场景下计算复杂度高、系统的精确解析模型无法获取等问题,进而为POMDP的求解带来挑战。针对上述问题,本文以兼顾求解方法的性能和效率为目标,围绕基于模型的状态估计与无模型策略学习两部分内容展开研究,具体如下:(1)针对模型已知的连续状态空间POMDP中量测数据受到时变噪声和野值污染时导致状态估计精度低、收敛性差的问题,提出一种基于误差状态模糊自适应卡尔曼滤波器的鲁棒状态估计方法。动态不确定环境下,时变噪声的统计特性变化频率高、幅度大。所提出方法使用模糊推理系统对量测噪声协方差估计器中新息的贡献权值进行二次自适应估计,从而能够更快地捕获到动态变化的量测噪声特性;为削弱野值对滤波性能的影响,基于新息正交性理论对野值进行检测,并根据其偏离程度对量测予以修正。仿真与实物实验结果表明,所提出状态估计方法具有较强的鲁棒性和自适应能力,有效提高了量测中含有时变噪声和野值场景下的状态估计精度。(2)针对模型已知的连续状态空间分布式POMDP下多智能体位置估计精度与效率难以权衡的问题,提出两种基于任务先验的多智能体协同定位方法。以高效利用任务先验为核心思想,分别从建模优化和量测处理的角度展开研究:首先,将距离与方位的刚性约束条件引入建模过程中,提出基于刚性约束模型与求积分卡尔曼滤波器的双智能体协同定位方法,该方法利用智能体间耦合关系实现待估计状态的降维,在保证估计精度的同时有效降低了计算负担。然后,将环境中已知锚点信息作为先验,提出混合伪锚协同与非锚协同的节点可切换协同定位方法。引入临时伪锚点的概念,通过节点类型切换机制对异质协同量测进行集成,以实现量测信息的高效利用;将信息论作为指导依据设计临时伪锚点选择策略,进一步从冗余量测中筛选出有益信息。仿真结果表明,所提出方法能够在任务先验的辅助下实现协同定位精度与效率的权衡。(3)针对模型未知的高维观测空间POMDP中,因无法使用模型先验且观测信息不完整导致智能体难以对环境状态进行推断的问题,提出动作依赖的双向对比预测编码信念表示学习方法。良好的信念表示能够为决策提供合理的依据。所提出方法同时利用历史与未来的双向预测误差对观测编码器、信念转移和预测模型进行端到端训练,通过使用瓶颈信念状态约束预测误差上界来提高自监督信念表示的学习效率与准确性;为了稳定训练过程,以缩小前向与反向预测交集区间内的表示差异为指导思想,推导出双向预测匹配正则化项并将其作为优化目标之一。此外,采用梯度截断机制对所学习信念表示的可解释性进行了探索。仿真实验表明,利用所提出方法学习到的信念表示不仅具有较高状态跟踪精度,还能够对状态的不确定性进行刻画,为进一步求解POMDP最优策略提供了保障。(4)针对模型未知且具有高维观测空间POMDP的策略求解过程中,智能体因无法获取环境的完整状态导致策略学习性能低下的问题,提出一种基于对比预测编码表示的深度双Q网络强化学习算法。标准深度强化学习算法假设观测中包含用于决策的完整状态信息,然而该假设并不适用于POMDP。所提出算法通过显式地对信念状态建模以获取紧凑、高效的历史编码供策略优化使用;为改善数据利用效率,引入信念回放缓存池的概念,其直接存储信念转移对而非观测与动作序列以减少内存占用。此外,设计分段训练策略将表示学习与策略学习解耦来提高训练稳定性。仿真结果表明,所提出算法能够辅助智能体打破“感知混淆”困境,进而实现POMDP下稳定、高效的策略学习。综上,本文围绕复杂POMDP的状态估计与策略学习展开研究,提出兼顾性能与效率的新颖方法,对解决动态、不确定环境下的序贯决策问题具有重要的理论意义和实际应用价值。

关键词：部分可观测马尔可夫决策过程自适应卡尔曼滤波器多智能体协同定位信念表示学习深度强化学习

来源：评论

学校读者我要写书评

暂无评论

基于部分可观测马尔可夫决策过程的水声传感器网络介质访问控制协议

引用

计算机应用 2015年第11期35卷 3047-3050,3074页

作者：徐明刘广钟上海海事大学信息工程学院上海201306 同济大学计算机科学与技术系上海201804

针对水声传感器网络低带宽、高延迟特性造成的空时不确定性以及网络状态不能充分观察的问题,提出一种基于部分可观测马尔可夫决策过程(POMDP)的水声传感器网络介质访问控制协议。该协议首先将每个传感器节点的链路质量和剩余能量划分为... 详细信息

针对水声传感器网络低带宽、高延迟特性造成的空时不确定性以及网络状态不能充分观察的问题,提出一种基于部分可观测马尔可夫决策过程(POMDP)的水声传感器网络介质访问控制协议。该协议首先将每个传感器节点的链路质量和剩余能量划分为多个离散等级来表达节点的状态信息。此后,接收节点通过信道状态观测和接入动作的历史信息对信道的占用概率进行预测,从而得出发送节点的信道最优调度策略;发送节点按照该策略中的调度序列在各自所分配的时隙内依次与接收节点进行通信,传输数据包。通信完成后,相关节点根据网络转移概率的统计量估计下一个时隙的状态。仿真实验表明,与传统的水声传感器网络介质访问控制协议相比,基于POMDP的介质访问控制协议可以提高数据包传输成功率和网络吞吐量,并且降低网络的能量消耗。

关键词：水声传感器网络部分可观测马尔可夫决策过程介质访问控制信道调度

来源：评论

学校读者我要写书评

暂无评论

基于部分可观测马尔可夫决策过程的机会频谱接入方案设计

基于部分可观测马尔可夫决策过程的机会频谱接入方案设计

引用

作者：夏婷婷南京邮电大学

学位级别：硕士

通信技术快速发展，无线业务需求不断增长，通信带宽不断加大，造成频谱资源紧缺，而现有的固定频谱分配政策加剧了频谱紧缺的局面。机会频谱接入技术利用认知无线电技术，采用分层接入频谱填充方式，利用了授权用户的空闲频谱。机会频... 详细信息

通信技术快速发展，无线业务需求不断增长，通信带宽不断加大，造成频谱资源紧缺，而现有的固定频谱分配政策加剧了频谱紧缺的局面。机会频谱接入技术利用认知无线电技术，采用分层接入频谱填充方式，利用了授权用户的空闲频谱。机会频谱接入技术能够在现有频谱分配政策下，提高频谱利用率，缓解频谱紧张的局面。本文利用部分可观测马尔可夫决策过程（POMDP）理论，对机会频谱接入进行建模。对基于该模型下的机会频谱接入方案进行了分析，提出基于该模型的单个次用户最优接入方案，解决了机会频谱接入中感知信道选择和接入问题，提高了次用户吞吐量。针对该方案复杂度较高的问题，提出了一个次优贪婪方案，大大降低了复杂度。并通过仿真证明了正确性。最后本文对分布式多用户机会频谱接入场景下，由于次用户信道选择同步性造成的网络吞吐量下降的问题，提出了一种基于置信向量的随机化选择方案，使得次用户同步性得到改善。但由于方案过分考虑避免次用户碰撞，使得单用户最优信道选择能力不强，网络性能不理想。因此本文提出一种可变随机域的多用户接入方案，仿真结果显示该方案在最优信道选择与避免同步之间达到了均衡。

关键词：机会频谱接入部分可观测马尔可夫决策过程多用户分布式接入

来源：评论

学校读者我要写书评

暂无评论

基于部分可观测马尔可夫决策过程的水声传感器网络介质访问控制协议

基于部分可观测马尔可夫决策过程的水声传感器网络介质访问控制协...

引用

2015年全国开放式分布与并行计算学术年会

作者：徐明刘广钟上海海事大学信息工程学院上海201306 同济大学计算机科学与技术系上海201804 上海海事大学信息工程学院上海201306

针对水声传感器网络低带宽、高延迟特性造成的空时不确定性以及网络状态不能充分观察的问题,提出一种基于部分可观测马尔可夫决策过程(POMDP)的水声传感器网络介质访问控制协议.该协议首先将每个传感器节点的链路质量和剩余能量划分为... 详细信息

针对水声传感器网络低带宽、高延迟特性造成的空时不确定性以及网络状态不能充分观察的问题,提出一种基于部分可观测马尔可夫决策过程(POMDP)的水声传感器网络介质访问控制协议.该协议首先将每个传感器节点的链路质量和剩余能量划分为多个离散等级来表达节点的状态信息.此后,接收节点通过信道状态观测和接入动作的历史信息对信道的占用概率进行预测,从而得出发送节点的信道最优调度策略;发送节点按照该策略中的调度序列在各自所分配的时隙内依次与接收节点进行通信,传输数据包.通信完成后,相关节点根据网络转移概率的统计量估计下一个时隙的状态.仿真实验表明,与传统的水声传感器网络介质访问控制协议相比,基于POMDP的介质访问控制协议可以提高数据包传输成功率和网络吞吐量,并且降低网络的能量消耗.

关键词：水声传感器网络部分可观测马尔可夫决策过程介质访问控制协议信道分配

来源：评论

学校读者我要写书评

暂无评论

基于马尔可夫决策过程的平流层浮空器自主路径规划方法研究

基于马尔可夫决策过程的平流层浮空器自主路径规划方法研究

引用

作者：翟嘉琪国防科技大学

学位级别：硕士

平流层浮空器是当前临近空间领域的研究热点,具有驻空时间长、覆盖范围广、使用效费比高等显著优势,在对地观测、侦察预警、通信中继、科学探测等领域具有广阔应用前景。自主路径规划能力是平流层浮空器快速部署至目标区域,保障任务有... 详细信息

平流层浮空器是当前临近空间领域的研究热点,具有驻空时间长、覆盖范围广、使用效费比高等显著优势,在对地观测、侦察预警、通信中继、科学探测等领域具有广阔应用前景。自主路径规划能力是平流层浮空器快速部署至目标区域,保障任务有效开展的重要前提,也是制约未来大规模应用的关键技术之一。平流层浮空器飞行过程受风场环境影响大,且风场环境时空变化、预报和测量均存在不确定性,导致浮空器自主路径规划存在较大挑战。论文针对具有水平弱动力和高度调控能力的平流层浮空器,基于马尔可夫决策过程(Markov Decision Process,MDP)模型,研究动态不确定性状态下自主路径规划方法,主要研究内容如下:研究了基于马尔可夫决策过程的二维全局路径规划方法。基于MDP模型基本框架,对状态空间、动作空间进行离散化,设计了二维全局路径规划策略方法。考虑预测风场和实际风场存在的误差,将风场不确定性引入MDP模型,建立了确定风场和不确定风场两种环境模型。分别在两种风场场景中进行二维全局路径规划,研究了不同水平抗风能力和风场模型等因素对浮空器区域可达性、最优路径、最优动作序列的影响。研究了基于马尔可夫决策过程三维全局路径规划方法。综合考虑浮空器上升过程和驻空过程,提出基于MDP的三维全局路径规划策略方法,根据浮空器实际动力学特性,设计了基本动作集、即时奖励函数和状态转移概率函数,可在不确定风场环境、水平抗风能力、高度调控能力、飞行时间等复杂约束下,实现从地面放飞点到目标点的三维全局路径规划,为浮空器飞行试验决策和动态部署提供理论方法支持。研究了连续状态下基于部分可观测马尔可夫决策过程的平流层浮空器局部路径规划方法。针对离散状态下全局路径规划近似处理存在误差和风场环境部分可观测等问题,考虑连续状态,提出一种基于部分可观测马尔可夫决策过程(Partially Observable Markov Decision Process,POMDP)的局部路径规划方法,该方法采用高斯(Gaussian)分布表示浮空器位置等信念状态,利用扩展卡尔曼滤波方法更新信念状态,使用线性二次型高斯(Linear Quadratic Gaussian,LQG)方法,在每个时间步长下求解初始路径周围的局部最优值函数,根据最优值函数确定最优速度序列,动态规划得到新路径。论文研究成果为实际风场环境中平流层浮空器自主路径规划提供新思路和新方法,为浮空器快速、自主部署至目标区域提供技术支持,拓展了马尔可夫决策过程在智能自主系统路径规划领域应用,具有重要理论意义和工程应用价值。

关键词：平流层浮空器马尔可夫决策过程部分可观测马尔可夫决策过程不确定性风场全局路径规划局部路径规划

来源：评论

学校读者我要写书评

暂无评论

人机混驾环境下无信号交叉口自动驾驶汽车左转运动规划研究

引用

中国公路学报 2021年第7期34卷 67-78页

作者：张名芳李慢陈子凡王庞伟程文冬北方工业大学城市道路交通智能控制技术北京市重点实验室北京100144 波士顿大学经济学系马萨诸塞波士顿MA 02134 西安工业大学机电工程学院陕西西安710021

为了使自动驾驶汽车在人机混驾环境下能安全、高效地左转通过无信号交叉口,在借鉴人类驾驶人左转时会对周围车辆驾驶意图进行提前预判的基础上,提出了一种基于周围车辆驾驶意图预测的自动驾驶汽车左转运动规划模型。首先将无信号交叉口... 详细信息

为了使自动驾驶汽车在人机混驾环境下能安全、高效地左转通过无信号交叉口,在借鉴人类驾驶人左转时会对周围车辆驾驶意图进行提前预判的基础上,提出了一种基于周围车辆驾驶意图预测的自动驾驶汽车左转运动规划模型。首先将无信号交叉口处周围车辆的驾驶意图分为左转、右转、直行3种类型,利用相关向量机预测周围车辆驾驶意图,以概率形式输出意图预测结果并实时更新,进一步界定自动驾驶汽车与周围车辆的潜在冲突区域并判断是否存在时空冲突;接着,在充分考虑他车速度、航向及车辆到达冲突区域边界距离的基础上建立基于部分可观测马尔可夫决策过程的自动驾驶汽车左转运动规划模型,生成一系列期望加速度;最后,基于Prescan-Simulink联合仿真平台搭建无信号交叉口仿真场景,对所提左转运动规划方法进行仿真验证,将基于博弈论的运动规划方法、基于人工势场理论的运动规划方法与所提出的方法进行比较,并选取行进比例达到1所用的时间和碰撞次数作为评价指标。研究结果表明:基于相关向量机的驾驶意图预测方法可在自动驾驶汽车到达交叉口之前准确预测出他车驾驶意图;基于部分可观测马尔可夫决策过程的左转运动规划方法能够通过速度调整策略实现人机混驾环境下自动驾驶汽车与周围车辆在无信号交叉口处的交互;不同算法对比效果表明,所提左转运动规划方法在自动驾驶汽车与不同数量周围车辆交互的仿真场景下均可有效避免碰撞事故发生并提高自动驾驶汽车左转通过无信号交叉口的效率。

关键词：汽车工程左转运动规划部分可观测马尔可夫决策过程无信号交叉口人机混驾自动驾驶汽车

来源：评论

学校读者我要写书评

暂无评论

室内环境下基于边际约束的快速路径自主探索算法

引用

中国惯性技术学报 2019年第4期27卷 474-480页

作者：徐晓苏梁紫依杨博王迪微惯性仪表与先进导航技术教育部重点实验室南京210096 东南大学仪器科学与工程学院南京210096

为了提高移动机器人在室内未知环境的自主探索能力,实现移动机器人在探索目标点之间的安全、快速移动,提出一种基于边际约束的快速路径自主探索算法。首先,将机器人自主探索问题描述为部分可观测马尔可夫决策过程模型。之后,在传统的快... 详细信息

为了提高移动机器人在室内未知环境的自主探索能力,实现移动机器人在探索目标点之间的安全、快速移动,提出一种基于边际约束的快速路径自主探索算法。首先,将机器人自主探索问题描述为部分可观测马尔可夫决策过程模型。之后,在传统的快速扩展随机树(RRT)算法基础上,将随机树的生长空间划分为边际四象限空间,结合启发式评估函数的评价。该算法加快了移动机器人在探索目标点之间的移动速度,同时减少了随机树的节点,降低了对内存空间的占用。通过Matlab仿真实验,在实验设定的仿真环境中,该算法比传统RRT算法在时间上缩短约了75%,节点数量减少了约80%,并在机器人操作系统的仿真实验中验证了算法的实用性。

关键词：移动机器人自主探索部分可观测马尔可夫决策过程快速扩展随机树边际约束

来源：评论

学校读者我要写书评

暂无评论

一种无线传感器网络中目标跟踪的自适应节点调度算法

引用

电子与信息学报 2018年第9期40卷 2033-2041页

作者：胡波王祺尧冯辉罗灵兵复旦大学信息科学与工程学院

在无线传感器网络目标跟踪的过程中进行节点调度,可以综合考虑跟踪误差和能量消耗,延长传感器网络的使用寿命。为了综合考虑节点调度的短期和长远损失,该文将问题建模为部分可观测马尔科夫决策过程(POMDP)以得到更优的调度策略,并提出... 详细信息

在无线传感器网络目标跟踪的过程中进行节点调度,可以综合考虑跟踪误差和能量消耗,延长传感器网络的使用寿命。为了综合考虑节点调度的短期和长远损失,该文将问题建模为部分可观测马尔科夫决策过程(POMDP)以得到更优的调度策略,并提出一种近似求解算法C-QMDP。该算法利用马尔科夫链蒙特卡洛方法(MCMC)推导连续状态空间的置信状态的转移,并计算瞬时代价。使用状态离散化方法,基于马尔科夫决策过程(MDP)值迭代求解未来代价的近似值。仿真结果表明,相比现有POMDP近似算法,该文算法既可以降低跟踪过程中的累积损失,又可以将大量运算进行离线计算,减小了在线决策时的计算量。

关键词：无线传感器网络目标跟踪节点调度部分可观测马尔可夫决策过程

来源：评论

学校读者我要写书评

暂无评论

CPSM:一种增强IP网络生存性的客户端主动服务漂移模型

引用

电子学报 2010年第9期38卷 2134-2139页

作者：赵二虎阳小龙彭云峰隆克平电子科技大学光互联网及移动信息网络研究中心四川成都611731

本文在注重提高IP网络服务可生存性的同时,也兼顾了服务可区分性的要求,提出了一种基于客户端的主动服务漂移模型,即CPSM,Client-side Proactive Service Migration model.该模型把服务漂移抽象为一个部分可观测马尔可夫决策过程,用以... 详细信息

本文在注重提高IP网络服务可生存性的同时,也兼顾了服务可区分性的要求,提出了一种基于客户端的主动服务漂移模型,即CPSM,Client-side Proactive Service Migration model.该模型把服务漂移抽象为一个部分可观测马尔可夫决策过程,用以增强服务漂移对动态不确定性网络环境的自适应能力.在信息预报和信任机制的基础上,通过对网络状态的不断观测和分析,CPSM模型可以计算出使客户获益最高的服务漂移策略.

关键词：服务可生存性服务漂移部分可观测马尔可夫决策过程信息预报信任机制

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：