检索结果-内蒙古大学图书馆

作者：陈鸿军国防科技大学

学位级别：硕士

随着人工智能技术的快速发展以及智能汽车应用需求的日益增长,车辆智能驾驶技术已成为当前的研究热点。智能驾驶关键技术包括环境感知、行为决策、路径规划、运动控制等,其中行为决策与运动控制技术是衡量智能驾驶车辆自主能力的关键指... 详细信息

随着人工智能技术的快速发展以及智能汽车应用需求的日益增长,车辆智能驾驶技术已成为当前的研究热点。智能驾驶关键技术包括环境感知、行为决策、路径规划、运动控制等,其中行为决策与运动控制技术是衡量智能驾驶车辆自主能力的关键指标,也是智能驾驶研究的重点和难点。目前,智能车辆环境感知技术已经取得了大量的研究成果,但车辆行为决策与运动控制方法仍较依赖人工先验知识来设计专家规则或模型,对复杂环境适应性不强。在动态复杂的城市驾驶环境下,传统行为决策与运动控制方法面临更多的挑战。当前,为克服已有方法自动化程度不高和过于依赖人工经验等问题,将模仿学习和强化学习等机器学习技术应用于智能驾驶行为决策与运动控制已成为一个重要的发展趋势。其中,模仿学习可以把人类驾驶员丰富的经验数据建模学习为具有良好性能的行为决策或运动控制模型,从而有效解决传统行为决策与运动控制方法依赖人工先验知识的问题,同时也能避免强化学习需要过多试错训练且收敛困难的缺点。模仿学习中最常用的为有监督的策略函数回归方法(如行为克隆),同时也包括逆强化学习和直接策略交互学习方法。有监督的策略回归与一般的监督回归方法不同,它是在一个连续动作且具有时序决策特性的策略空间上进行回归和建模,要获得良好的性能还需要克服特征的高效抽取、时序回归模型的迭代优化等难题,因此,现有的模仿学习方法在学习精度和泛化性能等方面还存在不足。本文主要针对以上问题开展基于模仿学习的智能车辆行为决策与运动控制方法研究,因此,在理论和应用上都具有重要的意义。本文主要研究工作和创新点如下:(1)提出了一种基于Bagging高斯过程回归(Bagging Gaussian Process Regression,Bagging GPR)的驾驶行为建模方法。该方法既利用了高斯过程回归方法基于贝叶斯推理和核函数映射的高效性学习特点,同时也利用了集成学习Bagging方法采用多个模型并行训练和集成策略的优点来进一步提高驾驶行为建模的学习精度。通过在自动驾驶高级仿真平台Pre Scan上分别搭建道路跟随、直道超车和弯道避障三种典型驾驶场景,对提出方法进行性能评测。结果表明,与多层神经网络反向传播、集成回归树、支持向量回归和高斯过程回归等其它基于机器学习的驾驶行为建模方法相比,提出的基于Bagging高斯过程回归的驾驶行为建模方法能进一步减小模仿学习误差,提高模型的泛化性能。(2)针对端到端行为模仿学习中卷积神经网络(CNN)存在全连接层泛化能力有限和容易收敛至局部最优的问题,提出了一种驾驶行为模仿学习的卷积神经网络高斯过程回归(CNN-GPR)方法,并设计了Pilot Net-GPR和Res Net-GPR两种算法。该方法使用全局映射能力和泛化性更强的高斯过程回归改进端到端CNN网络的全连接层结构,完成CNN提取特征到驾驶行为的高效学习。在百度Apollo端到端自动驾驶数据集上的实验表明,设计的Pilot Net-GPR和Res Net-GPR算法相较于基于Pilot Net和Res Net网络的方法能进一步提高端到端驾驶行为模仿精度和网络模型的泛化性能。特别地,与英伟达设计的Pilot Net网络相比,提出的Res Net-GPR方法在测试集上的均方误差(MSE)减少了16.27%,平均绝对误差(MAE)减少了9%。(3)提出了一种时序图像驾驶行为学习的深度神经网络高斯过程回归(CNN-LSTM-GPR)方法,进一步利用时序信息提高驾驶行为学习精度。该方法使用高斯过程回归改进级联深度神经网络(CNN-LSTM)的全连接层结构,对级联深度神经网络提取的特征到驾驶行为之间的映射进行更高效的学习逼近。在百度Apollo端到端自动驾驶数据集上的实验结果表明,在同等条件下与基于单幅图像的端到端模仿学习方法相比,CNN-LSTM-GPR方法能考虑更多的时序信息,模仿误差更低。与CNN-LSTM方法相比,CNN-LSTM-GPR方法能进一步提高时序图像到驾驶行为动作的映射学习精度,算法泛化性能更优。(4)使用实验室搭建的自主车平台对驾驶行为学习的CNN-GPR方法和CNN-LSTM-GPR方法进行测试和验证。在红旗E-HS3自主车平台上搭建了数据采集模块并采集了城市道路驾驶行为数据集,接着在采集的实车数据集上对提出方法进行性能评测,进一步验证了驾驶行为学习的CNN-GPR方法和CNN-LSTM-GPR方法的有效性。

关键词：模仿学习驾驶行为学习高斯过程回归卷积神经网络运动控制

来源：评论

学校读者我要写书评

暂无评论

基于生成对抗网络的模仿学习研究

基于生成对抗网络的模仿学习研究

引用

作者：李跃腾哈尔滨工业大学

学位级别：硕士

机器学习利用数据或者过往的经验来提高计算机程序的性能,被看做通往人工智能的重要途径,并且在计算机视觉、数据挖掘、自然语言处理等领域受到了大量关注和广泛应用。模仿学习通过系统提供的专家指导示例数据,可以得到每一步决策的直... 详细信息

机器学习利用数据或者过往的经验来提高计算机程序的性能,被看做通往人工智能的重要途径,并且在计算机视觉、数据挖掘、自然语言处理等领域受到了大量关注和广泛应用。模仿学习通过系统提供的专家指导示例数据,可以得到每一步决策的直接参考,可以端到端学习到策略模型,近年来得到研究学者的广泛关注。生成对抗网络(GAN)目前已经变成人工智能学界热门的研究方向,本文借助生成对抗网络的思想,给出用生成对抗网络实现模仿学习的算法,避免了求取报酬函数,实现从策略到策略的端到端的学习。本文主要分析传统模仿学习算法的实现思路,利用能唯一确定策略的度量标准,给出了通过该度量标准实现模仿学习的可行性。本文给出了生成对抗网络中生成模型目标函数与模仿学习目标函数的一致性,通过训练判别网络与生成网络,实现模仿学习算法的优化过程,从而将模仿学习与生成对抗网络联系起来。传统生成对抗网络存在一定缺陷,本文探讨了算法缺陷的特点和来源,结合近年来火热的WGAN来实现模仿学习算法,给出了新的目标函数,使模仿学习算法能避免传统GAN带来的缺陷。本文探讨了训练网络过程中策略模型的更新过程,采用了能较好更新策略模型的算法,实现策略更新步长自适应选取。本文利用OpenAI的物理仿真引擎Mujoco作为仿真平台,通过对Mujoco中提供的多个任务执行模仿学习算法,验证了用生成对抗网络思想实现模仿学习算法的有效性,实现了从专家轨迹到策略的端到端的学习目的。

关键词：生成对抗网络模仿学习强化学习生成式模型

来源：评论

学校读者我要写书评

暂无评论

基于模仿学习的动态目标抓取技术研究

基于模仿学习的动态目标抓取技术研究

引用

作者：卢业康电子科技大学

学位级别：硕士

在机器人领域,动态目标抓取一直是一项极具挑战性的任务,主要的难点集中在动态目标的飞行轨迹预测和机械臂的敏捷运动控制。现有的轨迹预测方法往往依赖于精准的物理模型来构造运动动力学方程或依靠庞大的数据集来训练深度神经网络模型... 详细信息

在机器人领域,动态目标抓取一直是一项极具挑战性的任务,主要的难点集中在动态目标的飞行轨迹预测和机械臂的敏捷运动控制。现有的轨迹预测方法往往依赖于精准的物理模型来构造运动动力学方程或依靠庞大的数据集来训练深度神经网络模型,这些方法在预测效率、预测精度及泛化能力上均存在局限性。另一方面,现有的机械臂运动控制策略在处理复杂运动时,常因模型参数复杂和缺乏稳定性约束等导致轨迹复现精度低,无法保证运动收敛到目标位置的问题。本文针对上述问题,分别在动态目标轨迹预测方法和机械臂的运动控制算法上开展研究,主要工作如下。首先,针对动态目标轨迹预测中的问题,本文提出了基于神经常微分方程网络的动态目标轨迹预测方法。该方法的核心思想是通过神经常微分方程来模拟动态目标的运动微分方程,以此捕获物体运动的内在物理规律。为了进一步提高预测的准确度,方法还集成了一个噪声估计网络,该网络负责分析历史预测中的误差,并据此优化未来轨迹的预测结果。实验结果表明,相比于传统时序预测网络模型,该模型的平均终点预测精度提高了48.94%,数据效率提高了6倍。其次,针对当前机械臂运动控制中遇到的问题,本文提出了一种基于条件变分自编码器与输入凸神经网络构建的稳定变分动态系统(SVDS),通过结合条件变分自编码器的潜在空间连续分布和输入凸神经网络凸性质的优势,保证了机械臂运动轨迹的连续平滑及稳定收敛。在实验中从仿真模拟和实物验证两个层面对本文提出的SVDS运动控制算法进行了验证,实验结果表明该方法在保证系统运动连续性和系统稳定性上具有出色的性能。最后,为了验证本文工作的有效性,设计并实现了一个动态目标抓取原型系统并在真实的物理环境中对抛掷动态物体进行了实验测试。在实验环节中,分别进行了动态目标的接取与抓取实验,其中利用网兜进行动态目标接取的成功率达到了75%,也成功实现了灵巧手高精度抓取动态目标实验验证。实验结果不仅验证了算法的有效性,而且展现了机器人在动态目标抓取领域应用的潜力。本文创新性地引入了神经常微分方程网络和条件变分自编码器与输入凸神经网络相结合的方法,分别解决了动态目标轨迹预测精度不足和机械臂运动控制稳定性的问题,成功实现了非规则抛掷物体的高精度抓取实验,也为未来在智能制造、自动化物流和服务机器人等领域的应用提供了广阔的前景。

关键词：动态目标抓取神经常微分方程模仿学习稳定变分动态系统

来源：评论

学校读者我要写书评

暂无评论

基于模仿学习的策略学习方法研究

基于模仿学习的策略学习方法研究

引用

作者：钱煜南京大学

学位级别：硕士

强化学习是机器学习领域的主要研究方向之一,试图使学习系统通过与环境的交互来自动提高自身性能。强化学习的主要瓶颈在于环境提供的奖赏具有延时性,使得系统难以推断每一步的最优决策,因此在很多情况下,系统无法高效地学习到最优策略... 详细信息

强化学习是机器学习领域的主要研究方向之一,试图使学习系统通过与环境的交互来自动提高自身性能。强化学习的主要瓶颈在于环境提供的奖赏具有延时性,使得系统难以推断每一步的最优决策,因此在很多情况下,系统无法高效地学习到最优策略。通过引入教师的指导示例,模仿学习可以为每一步的决策提供直接的参考,从而能够缓解奖赏延时性问题,近年来得到了越来越多研究者的关注。本文尝试研究不同示例数据情况下策略学习的方法,主要取得了以下成果:首先,对于奖赏延时性较弱的"AngryBird"游戏,构造了基于单步示例数据的策略学习方法,取得了优于"AngryBird人工智能竞赛"(2012年)冠军方法的性能。其次,对于奖赏延时性较强的"***"游戏,构造了基于多步示例数据的策略学习方法,在数据规模和计算能力有限远小于DQN方法的情况下,取得了接近该方法(Google公司DeepMind研究组2015年发表于自然杂志)的结果。最后,针对示例数据的获取代价高昂的问题,对自动产生示例数据的方法进行了探索,提出了基于自生成样本学习的奖赏塑形方法,通过在强化学习中自动地学习有效的奖赏塑形函数以提高算法的学习速率。实验结果表明该方法可以有效加速强化学习过程。

关键词：机器学习强化学习模仿学习策略梯度

来源：评论

学校读者我要写书评

暂无评论

基于逆向强化学习的模仿学习算法研究

基于逆向强化学习的模仿学习算法研究

引用

作者：刘莹西北工业大学

学位级别：硕士

随着人工智能近年来的不断兴起,强化学习逐渐走入人们的视线。强化学习是一种用于解决序列化决策问题的算法,在传统的强化学习中,奖励函数往往是人工设计的。然而,一些情况下,奖励函数较为模糊,难以直接人为给定。逆向强化学习假设专家... 详细信息

随着人工智能近年来的不断兴起,强化学习逐渐走入人们的视线。强化学习是一种用于解决序列化决策问题的算法,在传统的强化学习中,奖励函数往往是人工设计的。然而,一些情况下,奖励函数较为模糊,难以直接人为给定。逆向强化学习假设专家示范为最佳,从中获取到隐形的奖励函数。之后,可以对专家的行为做进一步模仿,进而可实现模仿学习。本文旨在实现基于逆向强化学习的模仿学习。首先,为衡量专家示范行为与智能体模仿行为之间的相似度,首先提出基于专家示范的模仿行为相似性对比算法,使用自动编码器提取特征并用相对熵计算特征之间的差距;接下来,基于相似性对比算法,结合AdaBoost算法,提出了基于逆向强化学习的模仿学习算法模型,最终达到了智能体通过多轮迭代学习与专家示范一致的效果。本文的主要工作与创新点如下: 1)提出一种基于自动编码器的专家示范与智能体模仿行为特征提取的方法。在本文中,首先对专家示范的视频按帧进行了拆分,接下来再通过训练自动编码器,将其中间层提取的向量作为专家示范的特征向量;同样的方法用于提取智能体模仿行为的特征。 2)提出一种基于相对熵的专家示范与智能体模仿行为相似度衡量方法。在本文中,使用相对熵作为衡量标准,对提取的专家行为的特征向量与智能体模仿行为的特征向量之间的差距进行衡量。如果智能体模仿行为与专家示范行为完全一致,则相对熵为0;如果智能体模仿行为与专家示范行为不完全一致,则相对熵为一非0正数。 3)提出一种基于逆向强化学习的模仿学习算法。由于在AdaBoost算法的每轮迭代中,被错误分类的样本在下一轮中权重会升高。这样的思想与本文拟实现的对专家示范的模仿行为十分相近。在对专家行为的多轮模仿中,对于模仿错误的动作,则增大其权重;同时,将该模仿动作与专家行为之间的相对熵与权重相乘,再乘以-1,得到奖励函数。最终的效果是,当智能体模仿行为与专家示范完全一致时,将得到一个正的奖励;否则,将得到一个绝对值较大的负的奖励值。在实验章节,将本文提出的方法与三种常见的逆向强化学习算法做对比,可得出结论:在低维度状态空间里,对于简单任务,所有方法都能收敛,但本文提出的方法收敛速度更快;对于高维度状态空间,在其他方法都无法收敛的情况下,本文所提出的方法仍能收敛。

关键词：逆向强化学习模仿学习 AdaBoost算法相对熵

来源：评论

学校读者我要写书评

暂无评论

从复制到创新:学生模仿学习能力提升的策略逻辑

引用

教育理论与实践 2018年第29期38卷 60-62页

作者：艾诗根重庆师范大学教育科学学院重庆401331

模仿学习是学生的基础性学习方式,通过模仿学习可以减轻学生学习的认知负荷,增强其学习的自信心。学生的模仿学习具有正面效应,同时也藏匿着自身的局限和短板。学生模仿学习能力的提升是多种因素联动的过程,需要以人的模仿本能为根基,... 详细信息

模仿学习是学生的基础性学习方式,通过模仿学习可以减轻学生学习的认知负荷,增强其学习的自信心。学生的模仿学习具有正面效应,同时也藏匿着自身的局限和短板。学生模仿学习能力的提升是多种因素联动的过程,需要以人的模仿本能为根基,疏导学生对模仿学习的误用、滥用和阻抗等障碍因素,促使学生认同并重构对模仿学习对象的新认识,进而练就模仿能力不断成长的学习本领,实现从复制性模仿学习到创新能力的跃升。

关键词：学生模仿学习复制性模仿创新

来源：评论

学校读者我要写书评

暂无评论

基于分层模仿学习的非完全信息三维视频游戏博弈研究

基于分层模仿学习的非完全信息三维视频游戏博弈研究

引用

作者：黄新昊哈尔滨工业大学

学位级别：硕士

随着人工智能技术的不断发展,研究人员正在朝着通用人工智能的方向不断努力,希望机器可以表现出人类所具有的智能行为。构建具有长期规划决策能力的智能体是实现通用人工智能体的主要挑战之一,相对于传统的数学计算方法,融合人工智能技... 详细信息

随着人工智能技术的不断发展,研究人员正在朝着通用人工智能的方向不断努力,希望机器可以表现出人类所具有的智能行为。构建具有长期规划决策能力的智能体是实现通用人工智能体的主要挑战之一,相对于传统的数学计算方法,融合人工智能技术的机器博弈方法使得求解问题的类型、规模和复杂度均大大扩展。本文的目标是利用三维视频游戏模拟贴近真实世界的的博弈场景,并将相关成果迁移到更加复杂的博弈决策问题中。本文围绕非完全信息三维视频游戏场景下的智能体博弈决策问题展开研究。三维复杂博弈环境中一些场景下的专家数据比较稀疏,而且无法通过简单的变换对专家行为数据进行扩增。传统的端到端模仿学习方法直接学习状态到动作的映射,存在分布漂移与复合误差问题。针对上述问题,本文设计了一个细粒度专家行为模仿学习算法,通过将重建专家动作序列建模为模仿任务,通过设计模仿奖励引导模型模仿专家行为,同时应用课程学习方法稳定复杂长序列动作的学习过程。本文近一步根据该算法设计了数据聚合方案来对专家数据集进行高质量扩充,在保证数据质量的情况下扩充专家数据集的规模,解决了复杂博弈环境下高质量专家数据稀疏的问题。三维复杂博弈环境下直接应用模仿学习或强化学习方法求解策略存在稳定性与泛化性较差的问题,并且没有充分利用离线数据对专家先验进行建模。另外,在三维视频游戏场景中,智能体行为的拟人性至关重要,即智能体采取的动作需要符合人类正常的操作模式。本文将高层决策与低层行为解耦,将模仿学习与强化学习进行结合设计了一个分层学习框架,低层利用离线专家数据学习基础行为和先验意图,高层通过强化学习探索多样化策略,不仅提高了智能体决策水平,而且具备更好的行为拟人性。本文设计的方案缓解了三维复杂博弈决策环境下的维度灾难、意图建模困难和模型不稳定的问题,减轻了工程实践中的奖励设计负担,而且具有良好的可迁移性与通用性。最后,本文选取带有非完全信息特征的三维军事模拟作战游戏环境作为实验平台,设计实验与经典的模仿学习和强化学习方法进行对比,验证了本文所提出的方法的有效性。

关键词：非完全信息模仿学习强化学习机器博弈智能体拟人化

来源：评论

学校读者我要写书评

暂无评论

基于高斯混合模型的模仿学习算法的优化与评价

基于高斯混合模型的模仿学习算法的优化与评价

引用

作者：郑逸加北京工业大学

学位级别：硕士

使机器人做出与人类相似的智能行为是机器人领域的研究热点,这就要求机器人具有学习的能力。模仿是生物获得技能的一种学习方式,引入模仿学习机制能使机器人具备一定的智能能力。但由于模仿学习对示教信息依赖性较强,而示教信息存在偶然... 详细信息

使机器人做出与人类相似的智能行为是机器人领域的研究热点,这就要求机器人具有学习的能力。模仿是生物获得技能的一种学习方式,引入模仿学习机制能使机器人具备一定的智能能力。但由于模仿学习对示教信息依赖性较强,而示教信息存在偶然性,同时模仿学习算法中存在随机取值等问题,导致模仿学习的效果不稳定。同时,模仿学习的过程考量难以用单一的指标进行评价。因此,本文围绕机器人模仿学习算法的优化与模仿学习的方案决策展开研究。论文主要工作为:第一,单次示教下模仿学习算法优化:高斯混合模型(Gaussian Mixture Model,GMM)具有很强的行为编码再现能力,因此,GMM被广泛应用于机器人模仿学习的表征。针对传统方法中随机选取聚类初值导致的学习结果不稳定,表征参数分两步确定导致的学习效率偏低的问题。采用一种多中心聚类算法中的最大最小距离算法改进k-means算法,得到稳定的初始聚类中心,并基于贝叶斯信息准则通过遗传算法优化求解,同时获取GMM表征的四个重要参数。第二,多次示教下多约束模仿学习优化算法的构建与实现:模仿学习对示教数据依赖性较强,传统的单次示教过程中的失误会增加模仿学习的难度,严重时导致失败。针对这一问题,提出了一种基于多次示教的多约束模仿学习优化算法,将表征后的概率区间作为约束条件,求解多约束条件的交集,降低了示教数据中劣质数据的表达概率,避免了由劣质数据造成的再现轨迹的波动。同时,引入了层次分析法,构建模仿学习评价模型,解决了定量评价模仿学习效果的问题。第三,基于集对分析的多约束模仿学习方案决策:针对示教次数对多次示教下的多约束模仿学习效果影响较大这一问题,本文应用集对分析法从贝叶斯信息准则、计算时间、拟合优度等角度出发,构建了多约束模仿学习方案决策模型,该模型能同时考虑影响因素的同一性、对立性,得到了可信度较高的多约束模仿学习方案。统计实验结果,提出一种具有指导性的多约束模仿学习示教次数的决策规律。实验结果表明,本文所提优化算法和决策模型对基于高斯混合模型的模仿学习的学习精度与学习效率有较大的提高,有效避免了由示教中的误操作所导致的学习效果不佳或学习失败,使性能稳定,并且对于提升多次示教下的模仿学习效果具有一定的指导意义。

关键词：人工智能模仿学习遗传算法多约束优化集对分析

来源：评论

学校读者我要写书评

暂无评论

基于模仿学习的不可展曲面上复合材料织物的自动铺放

基于模仿学习的不可展曲面上复合材料织物的自动铺放

引用

作者：段宝阁武汉大学

学位级别：硕士

碳纤维增强树脂基复合材料因其优异性能在航空航天、轨道交通、汽车船舶、体育医疗等领域应用广泛。其中二维机织物预浸料(简称织物)可变形性良好,适用于铺放不可展曲面零件(简称曲面零件)。目前,曲面零件的织物手工铺放存在效率低、质... 详细信息

碳纤维增强树脂基复合材料因其优异性能在航空航天、轨道交通、汽车船舶、体育医疗等领域应用广泛。其中二维机织物预浸料(简称织物)可变形性良好,适用于铺放不可展曲面零件(简称曲面零件)。目前,曲面零件的织物手工铺放存在效率低、质量一致性差的不足,机器人铺放有利于解决此问题。当前机器人的铺放轨迹为模具曲面上的测地线,铺放压力则根据模具各区域的形状人为指定。然而上述铺放轨迹与压力的规划方法未能准确描述手工铺放的动作特点,本文基于模仿学习对人工铺放技能进行建模,搭建织物铺放机器人平台,研究铺放技能的示教、建模及复现并进行铺放效果评价,所完成的主要工作及结论如下:首先,搭建由UR5e机器人、ATI Gamma六维力/力矩传感器、柔性压辊、示教手柄、COMATRIX三维相机、曲面模具组成的织物铺放机器人平台。考虑使用单个六维力/力矩传感器不能同时进行拖动示教与压力记录,提出将示教手柄安装于两传感器之间的双传感器串联方案;考虑人工示教难以保证压力沿曲面法向,本文基于三维点云计算曲面法向,实现对示教姿态的实时调整。然后基于导纳控制器实现铺放技能示教,采集铺放轨迹与压力。其次,使用概率模型对铺放技能进行描述。本文基于期望最大化算法分别建立轨迹与压力相对于时间的GMM模型,然后使用GMR从GMM模型中得到铺放轨迹与压力的期望值。最后,在力/位混合控制框架下,针对压辊从自由空间运动到模具表面时的接触状态切换过程,提出预控制量退出法降低压力冲击;针对铺放压力跟踪,采用迭代学习控制(ILC)提高压力控制精度,并将控制量提前若干周期发送给机器人解决系统延迟造成的迭代不收敛。在某型号飞机发动机叶片的局部模具上进行织物铺放实验,验证所提出的技能建模方法与压力控制器的有效性。得到以下结论:各条铺放轨迹的压力均方根误差均不超过0.5N,除第2条轨迹外,对应迭代轮次的最大误差不超过1.7N,精度满足使用要求。相较于不考虑延迟的迭代学习压力控制器,压力最大误差和压力均方根误差分别降低了50.0%和55.6%,相较于经过参数整定的PID控制器,压力最大误差和压力均方根误差分别降低了62.5%和63.6%,验证了压力控制器的有效性。通过视觉检测成型零件表面轮廓,有约97.3%的区域满足要求,验证了铺放技能建模方法的有效性。

关键词：复合材料机器人模仿学习迭代学习控制

来源：评论

学校读者我要写书评

暂无评论

面向多样专家示范的生成对抗模仿学习研究

面向多样专家示范的生成对抗模仿学习研究

引用

作者：张琳苏州大学

学位级别：硕士

模仿学习旨在从专家示范中学习一个最优策略,指导智能体完成指定任务。近年来,模仿学习方法从早期的行为克隆发展到了逆强化学习、生成对抗模仿学习,广泛应用于自然语言处理、自动驾驶系统和机器人控制技术等领域。现有的模仿学习方法... 详细信息

模仿学习旨在从专家示范中学习一个最优策略,指导智能体完成指定任务。近年来,模仿学习方法从早期的行为克隆发展到了逆强化学习、生成对抗模仿学习,广泛应用于自然语言处理、自动驾驶系统和机器人控制技术等领域。现有的模仿学习方法通常需要大量高质量的专家示范作为模仿对象,并且局限于从单一、独立的示范中模仿专家行为。然而在实际环境中,可获取的专家示范存在各种意外情况,例如示范数据数量有限、质量参差不齐,示范数据来源于多个任务、示范数据非结构化等。针对上述问题,本文从专家示范的角度出发,以生成对抗模仿学习为基础框架,对从多质量示范、多任务示范、非结构化示范中进行模仿学习做了相关研究,并提出相关算法,主要内容可概括为以下三个部分:(1)针对在某些环境中可获取的专家示范质量参差不齐的问题,提出面向多质量示范的非负PU(Positive-unlabeled)生成对抗模仿学习算法。该算法通过引入置信度分数来衡量示范的质量,并使用非负PU学习来训练置信度评估器,为不同质量的示范分配对应的置信度值。然后,采用重要性采样思想为示范数据分配不同的优先级,用于后续的生成对抗模仿学习。通过此算法,在模仿学习的过程中不仅能够控制智能体专注于模仿高质量的专家示范,而且能够充分利用相对低质量示范中的有效信息。实验结果表明,非负PU生成对抗模仿学习算法可以有效提高从多质量示范中进行模仿学习的表现。(2)由于实际应用环境的复杂性,通常会存在具有不同技能和习惯的专家提供的示范数据,这些专家来自于不同的任务。针对此,提出面向多任务示范的元生成对抗模仿学习算法,通过引入元学习,将模型的训练分为元训练和元测试两个阶段。在元训练阶段,智能体通过共享多个任务的专家示范中的信息,不断综合各个任务上模型的优化方向来完成跨任务的训练;在元测试阶段,智能体通过微调经过元训练的模型来快速适应新任务的环境,利用在源任务上学习的经验知识来提高其在新任务中的学习速度和学习效果。实验结果表明,元生成对抗模仿学习算法能够有效处理多任务示范数据,不仅降低了在各个任务上进行模仿学习所需的专家示范的数量,而且可以完成多任务的联合模仿,同时提高模仿学习模型的泛化性。(3)虽然元生成对抗模仿学习算法已经解决了专家示范来源于多个任务的问题,但其要求各个任务的专家示范相互独立。然而在实际环境中,未经处理的多任务示范可能是非结构化的,即一条专家示范中可能存在多个任务的轨迹片段。针对此,提出面向非结构化示范的信息最大化元模仿学习算法。首先,该算法通过引入潜在变量,最大化变量与生成轨迹之间的互信息,使潜在变量能够表示不同任务的示范的潜在特征,从而以无监督的方式区分出示范中的不同任务。然后,再以元生成对抗模仿学习的方式模仿各个任务的专家示范。实验结果表明,信息最大化元模仿学习算法能够有效地从非结构化示范数据中区分出不同任务,从而完成各个任务的模仿学习。针对上述每个方法,本文均进行了大量实验与分析,验证了相关算法的有效性,并与其他相关算法进行对比,进一步展现了本文所提方法的优越性。

关键词：模仿学习强化学习多质量示范非结构化示范元学习

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：