检索结果-内蒙古大学图书馆

北京航空航天大学学报 2025年第2期51卷 428-439页

作者：朱晓庆王涛阮晓钢陈江涛南博睿毕兰越北京工业大学信息学部北京100124 北京工业大学计算智能与智能系统北京市重点实验室北京100124

以柔性动作评价(SAC)为代表的强化学习算法在机器人复现高等动物的运动技能中已取得成功,该框架将策略搜索和状态动作价值函数相结合。但智能体使用策略探索是贪婪的,评价网络估算的Q值函数却使用低估值。为使智能体采取更好的策略,将... 详细信息

以柔性动作评价(SAC)为代表的强化学习算法在机器人复现高等动物的运动技能中已取得成功,该框架将策略搜索和状态动作价值函数相结合。但智能体使用策略探索是贪婪的,评价网络估算的Q值函数却使用低估值。为使智能体采取更好的策略,将策略蒸馏(PD)与SAC算法相融合,提出一种PD柔性动作评价(PDSAC)算法,该算法让智能体使用混合策略进行探索,使强化学习得到的奖励函数收敛速度加快。为验证PDSAC算法的有效性,理论证明该算法能提升策略的探索效率,并在四足机器人步态学习任务中进行了验证。仿真实验结果表明:相比SAC算法,PDSAC算法在步态学习任务中可以使奖励函数值提高26.7%,同时收敛速度提升40%。

关键词：强化学习策略蒸馏混合策略好奇心探索策略步态学习

来源：评论

学校读者我要写书评

暂无评论

基于噪声样本渐近修正的中医舌色分类方法

引用

电子学报 2024年第5期52卷 1450-1459页

作者：孙亮亮李艳萍张辉卓力北京工业大学信息学部北京100124 北京工业大学计算智能与智能系统北京重点实验室北京100124

基于深度学习的中医舌色分类模型具备良好的性能,但是依赖大量正确标注的样本.由于人工标注样本费时费力,不可避免地存在错误标注,导致模型在训练过程中对噪声样本过拟合,使其泛化能力变差.为此,本文提出了一种基于噪声样本渐近修正的... 详细信息

基于深度学习的中医舌色分类模型具备良好的性能,但是依赖大量正确标注的样本.由于人工标注样本费时费力,不可避免地存在错误标注,导致模型在训练过程中对噪声样本过拟合,使其泛化能力变差.为此,本文提出了一种基于噪声样本渐近修正的中医舌色分类方法.首先,根据舌色分类的特点,提出了一种全局-局部特征融合方法,将其嵌入到ResNet18骨干网络中,构建了舌色分类网络,并采用集成学习范式,提高分类模型的可靠性和稳定性;其次,针对噪声样本下的舌色分类网络训练问题,提出了样本注意力机制和噪声样本标签重新标注机制,在训练过程中对干净样本和噪声样本加以区分,赋予不同的权重,并逐步对噪声样本标签进行修正;最后,采用Boostrapping损失函数降低模型对噪声样本的关注度,抑制噪声样本对分类性能的影响.将提出的方法在两个自建的舌色分类数据集上进行了实验验证,结果表明,该方法通过渐进地对噪声标签进行校正,可以获得比现有的有噪样本下图像分类方法更高的分类精度,Acc指标分别达到了94.6%和93.65%.

关键词：中医舌色分类噪声样本样本注意力机制重新标注机制 Boostrapping损失

来源：评论

学校读者我要写书评

暂无评论

基于双阶段元学习的小样本中医舌色域自适应分类方法

引用

电子与信息学报 2024年第3期46卷 986-994页

作者：卓力张雷贾童瑶李晓光张辉北京工业大学计算智能与智能系统北京重点实验室北京100124 北京工业大学信息学部北京100124

舌色是中医(TCM)望诊最关注的诊察特征之一。在实际应用中,通过一台设备采集到的舌象数据训练得到的舌色分类模型应用于另一台设备时,由于舌象数据分布特性不一致,分类性能往往急剧下降。为此,该文提出一种基于双阶段元学习的小样本中... 详细信息

舌色是中医(TCM)望诊最关注的诊察特征之一。在实际应用中,通过一台设备采集到的舌象数据训练得到的舌色分类模型应用于另一台设备时,由于舌象数据分布特性不一致,分类性能往往急剧下降。为此,该文提出一种基于双阶段元学习的小样本中医舌色域自适应分类方法。首先,设计了一种双阶段元学习训练策略,从源域有标注样本中提取域不变特征,并利用目标域的少量有标注数据对网络模型进行微调,使得模型可以快速适应目标域的新样本特性,提高舌色分类模型的泛化能力并克服过拟合。接下来,提出了一种渐进高质量伪标签生成方法,利用训练好的模型对目标域的未标注样本进行预测,从中挑选出置信度高的预测结果作为伪标签,逐步生成高质量的伪标签。最后,利用这些高质量的伪标签,结合目标域的有标注数据对模型进行训练,得到舌色分类模型。考虑到伪标签中含有噪声问题,采用了对比正则化函数,可以有效抑制噪声样本在训练过程中产生的负面影响,提升目标域舌色分类准确率。在两个自建中医舌色分类数据集上的实验结果表明,在目标域仅提供20张有标注样本的情况下,舌色分类准确率达到了91.3%,与目标域有监督的分类性能仅差2.05%。

关键词：中医舌色分类小样本域自适应双阶段元学习

来源：评论

学校读者我要写书评

暂无评论

基于环境反馈机制的四足机器人运动技能学习

引用

控制与决策 2024年第5期39卷 1461-1468页

作者：张思远朱晓庆阮晓钢李春阳刘鑫源北京工业大学信息学部北京100124 北京计算智能与智能系统重点实验室北京100124

哺乳动物的运动学习机制已得到广泛研究,犬科动物可以根据环境反馈的引导性信息自主地学习运动技能,对其提供更为特定的训练引导可以加快其对相关任务的学习速度.受上述启发,在软演员-评论家算法(SAC)的基础上提出一种基于期望状态奖励... 详细信息

哺乳动物的运动学习机制已得到广泛研究,犬科动物可以根据环境反馈的引导性信息自主地学习运动技能,对其提供更为特定的训练引导可以加快其对相关任务的学习速度.受上述启发,在软演员-评论家算法(SAC)的基础上提出一种基于期望状态奖励引导的强化学习算法(DSG-SAC),利用环境中的状态反馈机制来引导四足机器人进行有效探索,可以提高四足机器人仿生步态学习效果,并提高训练效率.在该算法中,策略网络与评价网络先近似拟合期望状态观测与当前状态的误差,再经过当前状态的正反馈后输出评价函数与动作,使四足机器人朝着期望的方向动作.将所提出算法在四足机器人上进行验证,通过实验结果可知,所提出的算法能够完成四足机器人的仿生步态学习.进一步,设计消融实验来探讨超参数温度系数和折扣因子对算法的影响,实验结果表明,改进后的算法具有比单纯的SAC算法更加优越的性能.

关键词：强化学习四足机器人仿生步态学习环境探索状态反馈引导

来源：评论

学校读者我要写书评

暂无评论

基于自适应鲁棒模糊神经网络的MBR膜透水率软测量

引用

控制与决策 2025年第2期40卷 665-674页

作者：张祎邢刘峥韩红桂北京工业大学信息学部北京100124 计算智能与智能系统北京市重点实验室北京100124

针对膜生物反应器(MBR)污水处理工艺易受到进水水量、水质波动等外部干扰因素的影响导致膜透水率难以准确测量的问题,提出一种基于自适应鲁棒模糊神经网络(ARFNN)的膜透水率软测量模型.首先,构建一种对称抗噪损失函数,降低了模型对外部... 详细信息

针对膜生物反应器(MBR)污水处理工艺易受到进水水量、水质波动等外部干扰因素的影响导致膜透水率难以准确测量的问题,提出一种基于自适应鲁棒模糊神经网络(ARFNN)的膜透水率软测量模型.首先,构建一种对称抗噪损失函数,降低了模型对外部干扰的敏感度,提高了软测量模型的鲁棒性;然后,设计一种自适应梯度下降算法,动态优化模型参数,提升了软测量模型的检测精度;最后,利用李雅普诺夫函数验证了ARFNN的收敛性,分析了模型的鲁棒性,保证了模型的收敛速度和抗干扰能力.将所设计的基于ARFNN的膜透水率软测量模型应用于实际的污水处理过程中,实验结果表明,在有外部干扰的情况下,该模型不但能够实现膜透水率的在线检测,而且可以获得较高的检测精度.

关键词：模糊神经网络膜生物反应器膜透水率鲁棒性软测量梯度下降

来源：评论

学校读者我要写书评

暂无评论

融合元学习和PPO算法的四足机器人运动技能学习方法

引用

控制理论与应用 2024年第1期41卷 155-162页

作者：朱晓庆刘鑫源阮晓钢张思远李春阳李鹏北京工业大学信息学部北京100020 计算智能与智能系统北京市重点实验室北京100020

具备学习能力是高等动物智能的典型表现特征,为探明四足动物运动技能学习机理,本文对四足机器人步态学习任务进行研究,复现了四足动物的节律步态学习过程.近年来,近端策略优化(PPO)算法作为深度强化学习的典型代表,普遍被用于四足机器... 详细信息

具备学习能力是高等动物智能的典型表现特征,为探明四足动物运动技能学习机理,本文对四足机器人步态学习任务进行研究,复现了四足动物的节律步态学习过程.近年来,近端策略优化(PPO)算法作为深度强化学习的典型代表,普遍被用于四足机器人步态学习任务,实验效果较好且仅需较少的超参数.然而,在多维输入输出场景下,其容易收敛到局部最优点,表现为四足机器人学习到步态节律信号杂乱且重心震荡严重.为解决上述问题,在元学习启发下,基于元学习具有刻画学习过程高维抽象表征优势,本文提出了一种融合元学习和PPO思想的元近端策略优化(MPPO)算法,该算法可以让四足机器人进化学习到更优步态.在PyBullet仿真平台上的仿真实验结果表明,本文提出的算法可以使四足机器人学会行走运动技能,且与柔性行动者评价器(SAC)和PPO算法的对比实验显示,本文提出的MPPO算法具有步态节律信号更规律、行走速度更快等优势.

关键词：四足机器人步态学习强化学习元学习

来源：评论

学校读者我要写书评

暂无评论

仿鼠脑内嗅-海马-前额叶信息传递回路的空间导航方法

引用

生物医学工程学杂志 2024年第1期41卷 80-89页

作者：廖诣深于乃功北京工业大学信息学部计算智能与智能系统重点实验室北京100124

生理学研究发现,大鼠进行空间定位依赖内嗅—海马CA3结构中的网格细胞与位置细胞,而内嗅—海马结构与前额叶皮层之间的动态联系是导航的关键。基于此,本文提出一种仿鼠脑内嗅—海马—前额叶信息传递回路的空间导航方法,旨在为移动机器... 详细信息

生理学研究发现,大鼠进行空间定位依赖内嗅—海马CA3结构中的网格细胞与位置细胞,而内嗅—海马结构与前额叶皮层之间的动态联系是导航的关键。基于此,本文提出一种仿鼠脑内嗅—海马—前额叶信息传递回路的空间导航方法,旨在为移动机器人赋予强大的空间导航能力。在海马CA3—前额叶空间导航模型的基础上,本文构建以海马CA1区位置细胞为基本单元的动态自组织模型优化导航路径。随后通过海马CA3区位置细胞与前额叶皮层动作神经元将优化后的路径回馈至脉冲神经网络,提高模型收敛速度的同时还有助于建立导航习惯的长期记忆。为验证方法的有效性,本文分别设计了二维仿真实验和三维仿真平台的机器人实验。实验结果表明:本文方法不仅能够在导航效率、收敛速度等方面超越其他算法,而且对动态变化的导航任务具有较好的适应性。同时,本文方法还能够很好地应用在移动机器人平台上。

关键词：位置细胞动作神经元内嗅—海马前额叶空间导航

来源：评论

学校读者我要写书评

暂无评论

城市污水处理过程自适应滑模控制

引用

自动化学报 2023年第5期49卷 1010-1018页

作者：韩红桂秦晨辉孙浩源乔俊飞北京工业大学计算智能与智能系统北京市重点实验室北京100124

针对城市污水处理过程时滞导致难以稳定控制的问题,提出一种自适应滑模控制方法 (Adaptive sliding mode control, ASMC).首先,分析推流时滞对城市污水处理生化反应过程的影响,建立时滞影响下的城市污水处理运行控制模型;其次,设计一种... 详细信息

针对城市污水处理过程时滞导致难以稳定控制的问题,提出一种自适应滑模控制方法 (Adaptive sliding mode control, ASMC).首先,分析推流时滞对城市污水处理生化反应过程的影响,建立时滞影响下的城市污水处理运行控制模型;其次,设计一种基于模糊神经网络的预估补偿模型,完成滞后变量的准确预测,实现控制模型中变量时刻的统一;最后,设计一种具有自适应开关增益系数的滑模控制器(Sliding mode control, SMC),实现溶解氧和硝态氮的稳定控制.将提出的自适应滑模控制方法应用于城市污水处理过程基准仿真平台,实验结果显示该方法能够实现城市污水处理运行过程稳定控制.

关键词：城市污水处理过程时滞滑模控制模糊神经网络

来源：评论

学校读者我要写书评

暂无评论

近端策略优化的城市环境多智能体协作对抗方法

引用

通信学报 2025年第3期46卷 94-108页

作者：米广铭张辉张菁卓力北京工业大学信息科学技术学院北京100124 北京工业大学计算智能与智能系统北京市重点实验室北京100124

城市环境由于其地理空间的复杂性及动态变化性,往往会令指挥系统变得低效且短视。针对该问题,提出了一种近端策略优化城市环境的多智能体协作对抗方法。首先,在建立完善的城市对抗环境的基础上,使用近端策略优化的演员-评论员网络算法... 详细信息

城市环境由于其地理空间的复杂性及动态变化性,往往会令指挥系统变得低效且短视。针对该问题,提出了一种近端策略优化城市环境的多智能体协作对抗方法。首先,在建立完善的城市对抗环境的基础上,使用近端策略优化的演员-评论员网络算法进行求解;其次,针对多对一的评论网络采用嵌入方法来解决空间维度不同的异构智能体决策评价问题;再次,在近端策略优化的基础上,增加了自适应采样来辅助策略的更新;最后,对演员网络进行权重继承操作以帮助智能体迅速接管相应的任务。实验结果表明,相较于其他方法,所提方法的奖励回报提高了22.67%,收敛速度加快了8.14%,不仅可以满足城市环境下多个智能体协作对抗的决策,还能够兼容多异构智能体的协作对抗。

关键词：深度强化学习多智能体协作对抗近端策略优化城市环境

来源：评论

学校读者我要写书评

暂无评论

基于优化并行的四足机器人运动技能学习

引用

清华大学学报（自然科学版） 2024年第10期64卷 1696-1705页

作者：张思远朱晓庆陈江涛刘鑫源王涛北京工业大学信息学部北京100124 北京工业大学北京人工智能研究院北京计算智能与智能系统重点实验室北京100124

动物对自然界的适应能力是由环境选择与适者生存决定的,四足哺乳动物可以通过种群的进化逐步适应环境的变化,提高其对环境的适应度和种群的生存率。基于上述启发,该文在软演员-评论家(SAC)算法基础上提出一种基于优化并行强化学习的算法... 详细信息

动物对自然界的适应能力是由环境选择与适者生存决定的,四足哺乳动物可以通过种群的进化逐步适应环境的变化,提高其对环境的适应度和种群的生存率。基于上述启发,该文在软演员-评论家(SAC)算法基础上提出一种基于优化并行强化学习的算法OP-SAC,该算法使用进化策略与强化学习交替训练,通过知识共享和知识继承优化四足机器人学习效果,提高训练效率。算法验证结果显示,OP-SAC算法能够完成四足机器人的仿生步态学习;对比实验验证出OP-SAC算法比其他结合了进化策略的SAC算法具有更加优越的鲁棒性;设计消融实验证明了知识共享和知识继承策略使算法的训练效果获得较大提升。

关键词：生物进化强化学习四足机器人进化策略

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：