检索结果-内蒙古大学图书馆

计算机研究与发展 2002年第2期39卷 217-224页

作者：张波蔡庆生郭百宁北京微软亚洲研究院网络图形组北京100080 中国科学技术大学计算机科学与技术系合肥230027

许多口语对话系统已进入实用阶段 ,但一直没有很好的对话管理模型 .把对话管理看做随机优化问题 ,用马尔科夫决策过程 (MDP)来建模是最近出现的方向 ,但是对话状态的不确定性使 MDP不能很好地反映对话模型 .提出了一种新的基于部分可观... 详细信息

许多口语对话系统已进入实用阶段 ,但一直没有很好的对话管理模型 .把对话管理看做随机优化问题 ,用马尔科夫决策过程 (MDP)来建模是最近出现的方向 ,但是对话状态的不确定性使 MDP不能很好地反映对话模型 .提出了一种新的基于部分可观察 MDP(pomdp)的口语对话系统模型 ,用部分可观察特性来处理不确定问题 .由于精确求解算法的局限性 ,考察了许多启发式近似算法在该模型中的适用性 ,并改进了部分算法 ,如对于格点近似算法。

关键词：口语对话系统马尔科夫决策过程近似求解算法 pomdp模型语音识别

来源：评论

学校读者我要写书评

暂无评论

基于EM算法的pomdp模型获取研究

基于EM算法的POMDP模型获取研究

引用

全国冶金自动化信息网2015年会

作者：唐芸刘云龙戴宗雄朱合兴厦门大学信息科学与技术学院

在人工智能领域和控制领域,局部可观测的动态系统建模是目前研究广泛的一个问题。为了获取最佳决策,就必须对系统建立一个准确度较高的模型。在已有的研究中,很多学者将expectation maximization(EM)算法建立的部分可观察马尔可夫决策过... 详细信息

在人工智能领域和控制领域,局部可观测的动态系统建模是目前研究广泛的一个问题。为了获取最佳决策,就必须对系统建立一个准确度较高的模型。在已有的研究中,很多学者将expectation maximization(EM)算法建立的部分可观察马尔可夫决策过程(pomdp)模型作为一个检验自己算法准确性的标准,但却没有对EM算法如何建立pomdp模型做具体介绍。本文以几个常用的局部可观测环境为例,详细介绍了如何用EM算法建立PO)MD)p模型,并且对模型准确性进行计算。

关键词： EM算法 pomdp模型局部可观测动态系统人工智能

来源：评论

学校读者我要写书评

暂无评论

基于pomdp的用户兴趣获取模型研究

基于POMDP的用户兴趣获取模型研究

引用

作者：周继恩中国科学技术大学

学位级别：博士

如何处理人机交互中的不确定性问题,如何在人机交互中规划系统的动作,是目前人机交互研究中的热点;另一方面,不确定环境下的规划理论,近年来得到了广泛的研究.该文使用基于决策论的规划理论,来处理人机交互中的不确定性规划问题.该文使... 详细信息

如何处理人机交互中的不确定性问题,如何在人机交互中规划系统的动作,是目前人机交互研究中的热点;另一方面,不确定环境下的规划理论,近年来得到了广泛的研究.该文使用基于决策论的规划理论,来处理人机交互中的不确定性规划问题.该文使用基于内部信念状态的pomdp结构来获取用户兴趣,把人机交互的过程看成Agent和环境的交互过程,把用户的兴趣看作环境,把所收集的隐式用户信息作为观察,把领域专家对用户兴趣的分类作为内部状态,并使用基于决策论的方法来获取用户的兴趣.该文构建了一个实用OLAP系统,并研究了基于内部信念状态的pomdp结构在该系统中的应用.给出了在OLAP系统中分析用户浏览行为的理论框架,使得OLAP系统能够提供个性化服务,并提高性能.该文的主要创新之处在于,构建基于内部信念状态的pomdp结构,并将之应用在人机交互中.具体的贡献包括以下方面:1.构建了基于内部信念状态的pomdp结构,给出了针对该结构的有限阶规划算法,为求解无模型pomdp结构问题,提供了一个新的思路.2.通过在一个电影播放系统中学习用户对电影的兴趣,验证了该结构在用户兴趣获取中的有效性.该文同时分析了结构中各参数对学习效果的影响,结果为在类似应用中设置参数提供了参考.3.研究了基于内部信念状态的pomdp结构在OLAP系统中的应用,给出了OLAP系统中分析用户例览行为的理论框架.

关键词： pomdp模型不确定环境用户模型人机交互联机分析系统

来源：评论

学校读者我要写书评

暂无评论

多Agent系统中强化学习的研究现状和发展趋势

引用

计算机科学 2004年第3期31卷 23-27页

作者：赵志宏高阳骆斌陈世福南京大学计算机软件新技术国家重点实验室南京210093 南京大学计算机科学与技术系南京210093

本文对有关强化学习及其在多Agent系统中的应用等方面的研究现状、关键技术、问题和发展趋势进行了综述和讨论,试图给出强化学习目前研究的重点和发展方向。主要内容包括:(1)强化学习的框架结构;(2)几个有代表性的强化学习方法;(3)多Ag... 详细信息

本文对有关强化学习及其在多Agent系统中的应用等方面的研究现状、关键技术、问题和发展趋势进行了综述和讨论,试图给出强化学习目前研究的重点和发展方向。主要内容包括:(1)强化学习的框架结构;(2)几个有代表性的强化学习方法;(3)多Agent系统中强化学习的应用和问题。最后讨论了多Agent系统中应用强化学习所面临的挑战。

关键词：人工智能多Agent系统元对策理论强化学习算法 pomdp模型

来源：评论

学校读者我要写书评

暂无评论

基于服务推荐的移动agent路径动态构建方法研究

基于服务推荐的移动agent路径动态构建方法研究

引用

作者：王晓琳山东大学

学位级别：博士

移动agent是一类可以在网络站点之间连续迁移,并就地利用站点服务执行任务的程序。与基于RPC的分布式计算相比,移动agent计算具有降低网络负载、适应环境变化和支持网络断连计算等优势,因此,移动agent计算不仅是学术界的研究热点,而且... 详细信息

移动agent是一类可以在网络站点之间连续迁移,并就地利用站点服务执行任务的程序。与基于RPC的分布式计算相比,移动agent计算具有降低网络负载、适应环境变化和支持网络断连计算等优势,因此,移动agent计算不仅是学术界的研究热点,而且成为业界应用的一个重要发展趋势,例如网络信息检索、工作流管理、协同产品商务、智能机器人、无线传感器网络、网络安全监测等领域。在迁移工作流研究中,移动agent是业务过程管理者的任务代理,移动agent执行任务的网络站点称作工作位置,它由工作流参与者提供并且设计为参与者的服务代理。移动agent为实现业务目标所历经的工作位置序列称作它的工作路径。为了能够高效地利用站点服务资源,获得最大工作流收益并提高工作流执行效率,移动agent工作路径规划是迁移工作流研究的关键问题之一。移动agent工作路径规划方法可以区分为静态规划(static planning)和动态规划(dynamic planning)两种类型。前者是指设计者依据已知的网络站点服务信息,在派遣移动agent之前为其生成工作路径并令其携带的方法。因此,静态规划生成的移动agent工作路径缺乏对环境动态变化的适应性。后者假定移动agent每次位置转移,都要基于对当前环境的认知,动态地选择工作位置。环境信息既可以由移动agent自己探测,称作服务发现,也可以由协作站点代为探测,称作服务推荐。因为服务发现要求移动agent携带足够的服务发现知识和环境探测代码,所以,不仅迁移效率低,而且容易产生迁移故障。服务推荐可以使移动agent轻量化,提高迁移效率,减少迁移故障,但需要建立互信关系并签订服务推荐契约。根据社会学的研究结果,社会熟人关系是一种通过长期合作形成的互信关系,因此,对于移动agent工作路径规划来说,基于熟人网络的服务推荐是一种合理的技术选择。本论文在国家自然科学基金项目和山东省自然科学基金项目的资助下,以曾广周教授提出的迁移工作流概念模型为技术框架,在课题组前期工作的基础上,研究一类基于服务推荐的移动agent工作路径动态构建模型与方法,主要工作包括：1.决策空间可变的移动agent工作路径动态规划模型与方法研究现有的基于服务发现的移动agent工作路径动态规划方法,要求移动agent自身具备足够的服务发现知识和环境探测能力,因而移动agent笨重,不利于迁移；基于导航的移动agent工作路径动态规划方法,可以使移动agent轻量化,但要求事先组织和划分全局位置空间,不能良好支持动态开放环境；基于熟人推荐的移动agent工作路径动态规划方法,没有数学模型刻画,不能揭示移动agent工作路径动态规划的动态性。本文把MDP (Markov Decision Process)模型和推荐网络框架(Referral Network)引入到移动agent工作路径动态规划的研究中,以顺序型业务过程执行为应用背景,建立了一类决策空间可变的移动agent工作路径动态规划MDP模型,给出了基于推荐网络框架的移动agent工作路径动态规划方法,其中,移动agent工作路径规划的动态性用MDP刻画,迁移时可变的决策空间由当前位置成员的所有社会熟人关系构成,服务推荐在当前位置成员的直接熟人和间接熟人链上进行。移动agent的迁移时刻不同,当前位置成员的社会熟人关系也不同。社会成员熟人关系的变化性和开放性为移动agent工作路径规划提供了一个动态可变的决策空间。本文第2章讨论决策空间可变的移动agent工作路径动态规划模型与方法。2.基于有界熟人推荐树的移动agent工作路径动态构建方法研究社会学研究表明,对于任何一个理性社会成员来说,由其全部直接熟人关系和间接熟人关系综合形成的社会熟人网络规模是巨大的,也可能是无界的,因此,基于整个社会熟人网络为移动agent搜索服务的效率不高,在许多情况下也是不可行的。根据小世界现象研究中的六度分离原理,社会网络上任意两个陌生人之间的平均间隔距离不大于6,因此,基于服务推荐的移动agent路径规划可以在一个有限的社会熟人关系集合上进行。本文把六度分离原理引入到移动agent工作路径动态构建方法的研究中,以顺序型业务过程执行为应用背景,以移动agent工作路径动态规划MDP模型为基础,建立了一种基于有界熟人推荐树的移动agent路径动态构建方法,其中,推荐网络用移动agent当前成员的社会熟人关系刻画,有界熟人推荐树通过剪枝生成,并且可以由成员事先建立并根据协作进程动态维护。本文第3章讨论基于有界熟人推荐树的移动agent工作路径动态构建方法。3.基于窗口策略的移动agent工作路径动态规划模型与方法研究类似于棋类博弈,对于连续多任务移动agent工作路径动态规划来说,也存在“看一步,走一步”和“看多步,走一步”两种迁移

关键词：移动agent 路径动态规划服务推荐 MDP模型 pomdp模型窗口策略移动agent协作

来源：评论

学校读者我要写书评

暂无评论

客户资产分析与管理研究

客户资产分析与管理研究

引用

作者：马少辉天津大学

学位级别：博士

对很多企业而言,客户是其最重要的资产。这个观点已经刺激了直接营销、服务质量、关系营销、数据库营销等领域研究的快速发展。客户资产研究的出现是建立在以上研究领域的基础之上,是其综合、补充和创新。本文在总结目前国内外相关领域... 详细信息

对很多企业而言,客户是其最重要的资产。这个观点已经刺激了直接营销、服务质量、关系营销、数据库营销等领域研究的快速发展。客户资产研究的出现是建立在以上研究领域的基础之上,是其综合、补充和创新。本文在总结目前国内外相关领域近年来研究成果的基础上,主要研究了客户终生价值及客户资产的评估、优化与管理问题,其主要内容如下: (1)以Pareto/NBD模型为基础对如何在非契约情景下界定客户、分析与预测客户重复购买行为进行实证研究,并放松Pareto/NBD模型的分布假设,对Pareto/NBD模型进行扩展研究。提出了Pareto/NBD模型的马尔可夫链蒙特卡罗(MCMC)估计方法,放松Pareto/NBD模型分布假设,设计了三个扩展模型,推导了相应的模型,并通过实际的数据对模型的拟和与预测效果进行对比。 (2)研究客户终生价值的分析预测方法,分析不同模型的特点及适用范围,针对非契约客户关系情景下,研究了基于Perato/NBD模型的客户终生价值评估方法,并应用效用理论根据客户期望价值和风险对客户进行选择和排序,提出了潜客户资产评估的基本方法,并进行了实证案例研究。 (3)对客户终生价值优化模型进行归纳,在分析当前研究不足的基础上,研究利用部分可观察马尔可夫决策过程(pomdp)来对客户关系的动态发展进行建模,提出了客户保持-流失两状态客户关系模型、客户关系多状态管理模型,客户终生价值被视为内生变量,以客户终生价值为目标进行优化,得到最佳客户关系管理策略,并以实例进行了说明。 (4)从企业与客户两个角度,对客户价值与客户资产的关系进行分析,提出客户价值不但要从价值、品牌和维系三个方面驱动,还要从客户经济价值、知识价值和网络价值三个方面全面获取,提出客户资产管理是由客户价值创造管理和客户价值收获管理组成的客户资产管理框架,并提出了由价值评价、资源优化、驱动改进和收获价值四部分组成的客户资产管理流程。

关键词：客户资产客户终生价值客户选择 Pareto/NBD模型 pomdp模型

来源：评论

学校读者我要写书评

暂无评论

认知无线电中动态频谱接入的实用性算法研究

认知无线电中动态频谱接入的实用性算法研究

引用

作者：张娜哈尔滨工业大学

学位级别：硕士

近年来,随着无线通信技术的迅速发展,无线通信业务大幅度的增加,人们对无线业务的应用提出了更高的要求。相应的频谱资源的分配问题成为人们关注的焦点。而大部分频谱被分配给了用户却没有得到充分的利用,就造成了频谱资源的严重浪费,... 详细信息

近年来,随着无线通信技术的迅速发展,无线通信业务大幅度的增加,人们对无线业务的应用提出了更高的要求。相应的频谱资源的分配问题成为人们关注的焦点。而大部分频谱被分配给了用户却没有得到充分的利用,就造成了频谱资源的严重浪费,如何有效的提高稀有的频谱资源的利用效率成为人们研究的热点。认知无线电技术是解决频谱资源利用率失衡的一个有效途径。所谓的认知无线电技术就是通过检测外界无线网络环境,搜索空闲的频带资源,进行动态的频谱接入的技术,进而可以缓解频谱资源匮乏之急。但是认知用户是要求在不能干扰主用户通信为前提的,那么动态频谱接入问题就成为认知无线电的关键技术。本文主要针对基于部分观测马尔可夫过程(Partly Observation Markov Decision Processes, pomdp)模型的动态频谱接入算法以及二级用户能量受限情况下的动态频谱接入算法的进行了深入研究。首先介绍了认知无线电技术的产生背景,对认知无线电技术的定义进行了阐述。总结了国内外对认知无线电系统的研究现状,并介绍了认知无线电技术在未来的应用前景。文中第二章介绍了认知无线电的系统框架以及认知无线电动态频谱接入的各种模型。其次研究了认知用户在准确网络模型条件下采用pomdp框架进行动态频谱接入的过程。在无检测错误的情形下,给出了以pomdp为框架的动态频谱接入最优算法和次优算法,并通过仿真曲线分析了两种算法的性能和优劣。分析了当授权用户频繁切换频带时对次级用户通信的影响。讨论了非准确模型动态频谱接入算法,分析了非准确模型情况下对二级用户吞吐量的影响。最后研究了无检测错误、准确模型下,在二级用户能量受限情况下的动态频谱接入过程。通过仿真结果分析了主用户动态频谱占用率、信道的特性以及二级用户能量损耗特性对二级用户最优感知和接入策略的影响。

关键词：认知无线电技术动态频谱接入 pomdp模型行动策略频谱共享

来源：评论

学校读者我要写书评

暂无评论

基于Q学习算法的非完备信息机器博弈的研究

基于Q学习算法的非完备信息机器博弈的研究

引用

作者：李昌哈尔滨工业大学

学位级别：硕士

非完备信息机器博弈的特点是博弈者在博弈过程中无法获得全部以及可信的局面信息,这使得研究起来更复杂,更具挑战性。因此,吸引了大批国内外学者关注。机器博弈系统由数据表示、规则产生器、博弈树搜索和估值函数四部分组成,估值函数是... 详细信息

非完备信息机器博弈的特点是博弈者在博弈过程中无法获得全部以及可信的局面信息,这使得研究起来更复杂,更具挑战性。因此,吸引了大批国内外学者关注。机器博弈系统由数据表示、规则产生器、博弈树搜索和估值函数四部分组成,估值函数是其中最核心的部分。估值函数类似人类的大脑,它有着判断当前局势的优劣,指导智能体选择策略的重要作用。估值函数的好坏,直接反映了计算机博弈智能体的水平高低。因此,对非完备信息机器博弈估值函数进行优化具有重要的意义。本课题将非完备信息机器博弈模型转换为部分可观测马尔科夫决策模型(Partially Observable Markov Decision Processes,pomdp)进行研究,pomdp是强化学习中马尔科夫决策模型(Markov Decision Processes,MDP)的扩展。但强化学习中经典的Q学习算法适用于强化学习中的MDP模型,用到非完备信息机器博弈中会出现状态混淆、无法表示Q值、回报延迟等问题。本课题从状态动作值函数和策略空间搜索两个方面进行探索和研究,提出改进的Q学习算法,用于优化非完备信息机器博弈中的估值函数。针对非完备信息机器博弈中会出现两次观测到的牌局状态信息一样,而实际的牌局状态信息却不一样的状态混淆问题,采用连续的部分观测状态序列与资格迹(Eligibility Trace)结合的方法来解决。针对非完备信息机器博弈中状态空间信息庞大,在两人限制型德州扑克状态就包括3.19×1014个信息集,存在无法通过传统的Q值表示估值函数的问题,采用Q学习与人工神经网络结合的方法来解决。针对在非完备信息机器博弈中,游戏没有结束,无法获知采取当前策略的回报,即回报延迟问题,提出采用基于上限置信区间博弈树搜索(Upper Confidence Bound Applied to Tree,UCT)算法来求取当前策略的回报值。本课题将改进的Q学习算法应用在非完备信息机器博弈的估值函数上,分别实现了德州扑克和斗地主两款计算机智能体系统。这两个计算机智能体系统不仅考虑了当前状态之前的状态信息,同时预测了当前状态之后可能会发生的情况。这两个计算机智能体的思维更接近人类,与传统的估值函数相比,可以选择更合理的策略。

关键词： Q学习非完备信息博弈 pomdp模型人工神经网络 UCT算法

来源：评论

学校读者我要写书评

暂无评论

机器人导航pomdp算法研究

机器人导航POMDP算法研究

引用

作者：王健哈尔滨工程大学

学位级别：硕士

部分可观测马尔可夫决策过程(pomdp)是一种用于制定序列决策的经典模型。在该模型中,智能体做出动作所产生的效果是不确定的,对环境状态信息的观测也是不完整的。因此,pomdp对于表达智能体在非确定环境下的序列决策问题而言是非常有效... 详细信息

部分可观测马尔可夫决策过程(pomdp)是一种用于制定序列决策的经典模型。在该模型中,智能体做出动作所产生的效果是不确定的,对环境状态信息的观测也是不完整的。因此,pomdp对于表达智能体在非确定环境下的序列决策问题而言是非常有效的模型。本文对pomdp基本理论进行了深入地研究,并分析了pomdp的复杂度及理论结果,对值迭代算法进行了改进。然后对pomdp模型在机器人导航控制的应用进行了仿真实验,并分析了仿真结果,对仿真实验中出现的问题进行了分析。首先,介绍了当前应用在机器人导航控制领域中的几个经典的智能控制算法,并介绍了本文要研究的pomdp理论的研究现状。然后,详细阐述了部分可观测马尔可夫决策过程(pomdp)的基本理论及数学框架。为了清楚地说明pomdp的基本思想和理论背景,给出了一个循序渐进的理论阐述过程:先详细阐述了MDP理论,然后在MDP的基础上引出了对pomdp模型的定义以及pomdp问题的求解算法。重点研究了pomdp的代表性算法,对其精确求解算法给予了深入的分析,并对值迭代算法进行了改进。最后,给出了pomdp模型实现机器人导航控制任务的各要素设计,应用pomdp模型解决了机器人在各种复杂仿真环境中的导航问题,完成了路径规划任务和环境建模任务。对于处在现实环境中的机器人来说,环境信息的部分可观测性主要表现在机器人通过传感器对环境的感知是否完全。本文在模拟声纳扫描环境的过程中,将声纳对环境信息观测的不确定性用概率的形式表现出来,并将其与pomdp模型的信度状态更新相结合,给出了一种新的控制模式。实验表明,pomdp算法能够在较为复杂的未知环境中有效地解决机器人的导航控制问题。

关键词： pomdp模型机器人导航值迭代算法仿真

来源：评论

学校读者我要写书评

暂无评论

CR中无线信道分配与功率控制算法研究

CR中无线信道分配与功率控制算法研究

引用

作者：刘寅西南科技大学

学位级别：硕士

随着无线设备及相关应用的快速发展,传统无线网接入、传输协议已无法适应这一趋势。其中,最主要的挑战包括如下几个方面:1、频谱资源已分配殆尽;2、已分配的频谱资源使用率极低;3、无线网服务质量有待提高,尤其是在较为繁忙的无线网区... 详细信息

随着无线设备及相关应用的快速发展,传统无线网接入、传输协议已无法适应这一趋势。其中,最主要的挑战包括如下几个方面:1、频谱资源已分配殆尽;2、已分配的频谱资源使用率极低;3、无线网服务质量有待提高,尤其是在较为繁忙的无线网区域。认知无线电网络(Cognitive Radio Networks,CRNs)是解决以上问题的有效方法,其核心思想是通过智能算法动态决策无线设备的接入和传输。该方法可根据当前网络环境智能接入不同的信道,从而有效提高无线信道的复用率和无线网服务质量。针对CRN中无线设备接入及传输功率控制问题,现有研究主要提出了如下几类算法:Q学习算法、遗传算法、博弈算法、动态贝叶斯网络算法等。虽然上述算法能在某些无线网应用中取得一定效果,但通常存在如下几类缺陷:1、收敛速度较慢;2、难以处理值连续状态下的决策问题,处理精度偏低;3、环境适应度较低;4、可处理的收发功率范围较小。基于这一研究现状,本研究主要使用了部分可观测马尔可夫决策过程模型(pomdp)和蒙特卡罗值迭代算法(MCVI)解决CRN中无线接入和功率控制问题。其中,pomdp模型是在部分可观测网络环境下预测无线设备与网络环境间交互状态的有效模型;MCVI算法是解决感知功率值为连续实数状态下pomdp模型的优秀决策算法,但通过实验分析,MCVI算法也存在收敛速度较慢的缺陷。为解决这一缺陷,本文使用改进的NSGA2算法优化MCVI,提出了快速MCVI算法(Fast MCVI)。通过在经典pomdp模型问题中测试,证明了Fast MCIV算法在收敛速度和决策速度方面都优于原MCVI算法。通过使用Fast MCVI算法解决CRN的接入决策及功率控制问题,与现有算法相比主要优化了如下几个方面:1、加快了决策速度;2、可使用连续状态值进行决策,提高了决策精度和可信度;3、扩展了最大可支持的无线节点数及功率控制范围。通过使用本文算法与同类算法的仿真对比以及在Exata网络仿真平台中的仿真,证明了本文算法在降低网络延迟、提高信道复用率等多个方面都有更好表现。

关键词：认知无线电 pomdp模型 MCVI算法频谱接入功率控制

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：