检索结果-内蒙古大学图书馆

计算机学报 2024年第7期47卷 1582-1594页

作者：刘全施眉龙黄志刚张立华苏州大学计算机科学与技术学院江苏苏州215006 苏州大学江苏省计算机信息处理技术重点实验室江苏苏州215006

在多智能体协作领域,强化学习算法通过共享智能体的局部信息来实现智能体间的协作.但共享协作机制极易引发过度协作问题,导致智能体忽视自身局部观测信息,丧失策略多样性,最终陷入低效协作的困境.为了解决该问题,本文提出基于双视角建... 详细信息

在多智能体协作领域,强化学习算法通过共享智能体的局部信息来实现智能体间的协作.但共享协作机制极易引发过度协作问题,导致智能体忽视自身局部观测信息,丧失策略多样性,最终陷入低效协作的困境.为了解决该问题,本文提出基于双视角建模的多智能体协作强化学习方法(Bi-View Modeling Collaborative Multi-Agent Reinforcement Learning,简称BVM-CMARL).该方法从局部和全局两个视角对智能体进行建模,分别用于产生多样性的策略和激励协作.在局部视角最大化局部变分与自身轨迹的互信息,激励智能体的策略多样性;同时在全局视角最大化全局变分与其他智能体动作的互信息,提高智能体协作水平.最后将局部变分训练出的局部Q值与全局变分训练出的全局Q值合并,避免低效协作.将BVM-CMARL算法应用于星际争霸多智能体挑战赛(StarCraft Multi-Agent Challenge,SMAC)中的等级觅食(Level-Based Foraging,LBF)和走廊(Hallway)等环境,与QMIX、QPLEX、RODE、EOI和MAVEN等5种目前优秀的强化学习算法相比,BVM-CMARL算法具有更好的稳定性和性能表现,在SMAC上的平均胜率为82.81%,比次优算法RODE高13.42%.通过设计模型变体,在消融实验中证明了双视角建模对BVM-CMARL的必要性.

关键词：深度强化学习多智能体系统多智能体协作协作建模对比学习

来源：评论

学校读者我要写书评

暂无评论

优势加权互信息最大化的最大熵分层强化学习

引用

计算机学报 2023年第10期46卷 2066-2083页

作者：乌兰刘全黄志刚朱斐张立华苏州大学计算机科学与技术学院江苏苏州215006 苏州大学江苏省计算机信息处理技术重点实验室江苏苏州215006

近年来,深度强化学习在控制任务中取得了显著的效果.但受限于探索能力,难以快速且稳定地求解复杂任务.分层强化学习作为深度强化学习的重要分支,主要解决大规模问题.但是仍存在先验知识设定的不合理和无法有效平衡探索与利用等难题.针... 详细信息

近年来,深度强化学习在控制任务中取得了显著的效果.但受限于探索能力,难以快速且稳定地求解复杂任务.分层强化学习作为深度强化学习的重要分支,主要解决大规模问题.但是仍存在先验知识设定的不合理和无法有效平衡探索与利用等难题.针对以上问题,提出优势加权互信息最大化的最大熵分层强化学习(Maximum Entropy Hierarchical Reinforcement Learning with Advantage-weighted Mutual Information Maximization,HRLAMIM)算法.该算法通过优势函数加权重要性采样与互信息最大化,解决由策略引起的样本聚类问题,增加内部奖励来强调Option的多样性.同时,将奖励引入最大熵强化学习目标,使策略具有了更强的探索性和更好的稳定性.此外,采用Option数量退火方法,不仅减少了先验知识对性能的影响,还平衡了算法的探索与利用,并获得了更高的样本效率和更快的学习速度.将HRL-AMIM算法应用于Mujoco任务中,实验表明,与传统深度强化学习算法和同类型的分层强化学习算法相比,HRL-AMIM算法在性能和稳定性方面均具有较大的优势.进一步通过消融实验和超参数敏感性实验,验证了算法的鲁棒性和有效性.

关键词：深度强化学习分层强化学习优势加权互信息最大熵

来源：评论

学校读者我要写书评

暂无评论

增强分子拓扑信息的多任务图神经网络算法

引用

计算机工程与应用 2023年第10期59卷 86-93页

作者：蒋晔路权丽君吴庭芳吕强苏州大学计算机科学与技术学院江苏苏州215006 江苏省计算机信息处理技术重点实验室江苏苏州215006

以分子毒性为代表的分子属性预测在以药物设计为主的多个领域的发展中发挥着重要作用,但直接利用分子结构信息快速且准确地预测分子毒性一直是一个挑战。目前,卷积网络和图网络等深度学习方法的出现在这个问题的解决上得到了一定的进展... 详细信息

以分子毒性为代表的分子属性预测在以药物设计为主的多个领域的发展中发挥着重要作用,但直接利用分子结构信息快速且准确地预测分子毒性一直是一个挑战。目前,卷积网络和图网络等深度学习方法的出现在这个问题的解决上得到了一定的进展。而以图网络为主的深度学习方法在分子毒性预测中存在两个关键问题,影响预测性能:第一,数据驱动使得模型在面对小批量数据时依然没有可靠的性能。第二,建模分子结构只考虑了天然共价键,只能提供粗粒度的信息。为解决上述问题,给出了一种对分子结构的新型建模方式MT-ToxGNN。该方法将多任务的思想融入图神经网络中,使得不同任务在训练时可以互相学习不同数据的可靠分布,从而避免在小批量数据上的过拟合问题。将分子编码成拓扑图结构时同时考虑分子内共价键以及非共价作用,就是在使用分子共价键构建传统图的边集之后,再使用非共价作用构建新型图的边集,从而弥补传统图网络对分子结构信息表示的不足。使用特别设计的图网络分别处理分子的共价与非共价信息,充分学习不同的分子结构。在与大量先进方法的性能比较中,MT-ToxGNN在多个分子毒性数据集上皮尔森系数指标达到了最佳。

关键词：分子毒性预测分子结构建模图神经网络多任务深层网络

来源：评论

学校读者我要写书评

暂无评论

融合残差网络的自监督社交推荐算法

引用

计算机科学与探索 2024年第12期18卷 3175-3188页

作者：王玉洁杨哲苏州大学计算机科学与技术学院江苏苏州215006 江苏省计算机信息处理技术重点实验室江苏苏州215006 江苏省大数据智能工程实验室江苏苏州215006

基于图神经网络的社交推荐算法,通过社交图和交互图的信息来学习用户和项目的嵌入,得到最终的推荐结果。但是现有算法主要利用静态的社交图结构,无法挖掘用户之间潜在的链接关系,同时也没有解决用户与项目交互行为中的噪声问题。提出了... 详细信息

基于图神经网络的社交推荐算法,通过社交图和交互图的信息来学习用户和项目的嵌入,得到最终的推荐结果。但是现有算法主要利用静态的社交图结构,无法挖掘用户之间潜在的链接关系,同时也没有解决用户与项目交互行为中的噪声问题。提出了一种融合残差网络的自监督社交推荐算法。采用变分超图自编码器对社交网络进行链接预测,得到重构的社交图,以此来挖掘隐藏在用户间的积极链接关系;利用注意力机制为原始社交图和重构后的残差社交图分配不同的注意力系数,得到更加精确的用户表征;为了缓解数据中的噪声问题,构建了自适应的超图全局关系提取器,在该提取器的协作下利用局部嵌入信息和全局嵌入信息创建自监督信号,从而优化局部的嵌入表示,进而缓解噪声影响。该算法在Ciao、Epinions和Yelp三个数据集上与NGCF、LightGCN、MHCN等基线模型进行对比实验。在Ciao数据集上,Recall@10提升了17.1%~48.5%,NDCG@10提升了1.4%~37.9%;在Epinions数据集上,Recall@10提升了8.3%~56.2%,NDCG@10提升了3.7%~29.8%;在Yelp数据集上,Recall@10提升了9.1%~53.3%,NDCG@10提升了11.2%~66.6%。实验结果表明,该算法相较于基准模型有良好的推荐性能。

关键词：社交网络推荐系统图卷积神经网络超图自监督学习

来源：评论

学校读者我要写书评

暂无评论

基于有向超图自适应卷积的链接预测模型

引用

计算机应用 2025年第1期45卷 15-23页

作者：赵文博马紫彤杨哲苏州大学计算机科学与技术学院江苏苏州215008 江苏省计算机信息处理技术重点实验室(苏州大学) 江苏苏州215006

图神经网络(GNN)为链接预测提供了多样化的解决方案,但由于普通图的结构限制,目前的相关模型在充分利用顶点间的高阶及不对称信息方面存在明显的不足。针对以上问题,提出一种基于有向超图自适应卷积的链接预测模型。首先,使用有向超图... 详细信息

图神经网络(GNN)为链接预测提供了多样化的解决方案,但由于普通图的结构限制,目前的相关模型在充分利用顶点间的高阶及不对称信息方面存在明显的不足。针对以上问题,提出一种基于有向超图自适应卷积的链接预测模型。首先,使用有向超图结构更充分地表示顶点间的高阶和方向信息,兼具超图和有向图的优势;其次,有向超图自适应卷积采用自适应信息传播方式替代传统有向超图中的定向信息传播方式,从而解决了有向超边尾部顶点不能有效更新嵌入的问题,同时解决多层卷积导致的顶点过度平滑问题。在Citeseer数据集上基于显式顶点特征的实验结果显示,在链接预测任务上,相较于有向超图神经网络(DHNN)模型,所提模型的ROC(Receiver Operating Characteristic)曲线下面积(AUC)指标提升了2.23个百分点,平均精度(AP)提升了1.31个百分点。因此,所提模型可以充分表达顶点间的关系,并有效提高链接预测任务的性能。

关键词：图神经网络有向超图链接预测超图卷积表示学习自适应卷积

来源：评论

学校读者我要写书评

暂无评论

多粒度自适应嵌入融合的有向超图表示学习模型

引用

小型微型计算机系统 2025年第3期46卷 586-593页

作者：马紫彤赵文博杨哲苏州大学计算机科学与技术学院江苏苏州215006 江苏省计算机信息处理技术重点实验室江苏苏州215006

图表示学习能够挖掘图结构数据中蕴含的丰富信息,例如结构、关系信息等.近年,涌现了大量针对高阶、复杂图结构的表示学习研究,然而针对高阶有向超图结构的研究相对有限,且存在一定的局限性:现有方法无法同时提取有向超图的高阶性和方向... 详细信息

图表示学习能够挖掘图结构数据中蕴含的丰富信息,例如结构、关系信息等.近年,涌现了大量针对高阶、复杂图结构的表示学习研究,然而针对高阶有向超图结构的研究相对有限,且存在一定的局限性:现有方法无法同时提取有向超图的高阶性和方向性,导致其失去了结构优势.同时,在图表示学习中,信息通过连接边实现信息传播,堆叠网络层数时容易产生过平滑问题.为解决上述问题,本文首先设计有效且能够在通用的有向超图结构中提取信息的卷积模块,在避免信息损失下有效地传递结构信息;其次采用自适应权重的嵌入融合机制,来缓解过平滑问题.在多个不同类型的数据集上的实验表明了有向超图表示学习模型的先进性,在分类任务上的准确率最高提升4.39%.

关键词：有向超图表示学习有向超图卷积自适应嵌入融合

来源：评论

学校读者我要写书评

暂无评论

基于兴趣函数的多样化Option-Critic算法

引用

计算机研究与发展 2024年第12期61卷 3108-3120页

作者：栗军伟刘全黄志刚徐亚鹏苏州大学计算机科学与技术学院江苏苏州215006 软件新技术与产业化协同创新中心(南京大学) 南京210023 符号计算与知识工程教育部重点实验室(吉林大学) 长春130012 江苏省计算机信息处理技术重点实验室(苏州大学) 江苏苏州215006

Option框架作为分层强化学习的一种常用时序抽象方法,允许智能体在不同的时间尺度上学习策略,可以有效解决稀疏奖励问题.为了保证Option可以引导智能体访问更多的状态空间,一些方法通过引入基于互信息的内部奖励和终止函数来提升Option... 详细信息

Option框架作为分层强化学习的一种常用时序抽象方法,允许智能体在不同的时间尺度上学习策略,可以有效解决稀疏奖励问题.为了保证Option可以引导智能体访问更多的状态空间,一些方法通过引入基于互信息的内部奖励和终止函数来提升Option内部策略的多样性.但这会导致算法学习速度慢和内部策略的知识迁移能力低等问题,严重影响了算法性能.针对以上问题,提出基于兴趣函数优化的多样化Option-Critic算法(diversity-enriched Option-Critic algorithm with interest functions,DEOC-IF).该算法在多样化Option-Critic算法(diversity-enriched Option-Critic,DEOC)的基础上,通过引入兴趣函数约束上层策略对Option内部策略的选择,既保证了Option集合的多样性,又使得学习到的内部策略可以关注状态空间的不同区域,有利于提高算法的知识迁移能力,加快学习速度.此外,DEOC-IF算法引入一种新的兴趣函数更新梯度,有利于提高算法的探索能力.为了验证算法的有效性和知识迁移能力,分别在4房间导航任务、Mujoco和MiniWorld实验环境中,将DEOC-IF算法与其他最新算法进行对比实验.结果表明,DEOC-IF算法具有更好的性能优势和策略迁移能力.

关键词：强化学习时序抽象 Option框架兴趣函数 Option-Critic算法

来源：评论

学校读者我要写书评

暂无评论

基于不确定性权重的保守Q学习离线强化学习算法

引用

计算机科学 2024年第9期51卷 265-272页

作者：王天久刘全乌兰苏州大学计算机科学与技术学院江苏苏州215006 苏州大学江苏省计算机信息处理技术重点实验室江苏苏州215006

离线强化学习(Offline RL)中,智能体不与环境交互而是从一个固定的数据集中获得数据进行学习,这是强化学习领域研究的一个热点。目前多数离线强化学习算法对策略训练过程进行保守正则化处理,训练策略倾向于选择存在于数据集中的动作,从... 详细信息

离线强化学习(Offline RL)中,智能体不与环境交互而是从一个固定的数据集中获得数据进行学习,这是强化学习领域研究的一个热点。目前多数离线强化学习算法对策略训练过程进行保守正则化处理,训练策略倾向于选择存在于数据集中的动作,从而解决离线强化学习中对数据集分布外(OOD)的状态-动作价值估值错误的问题。保守Q学习算法(CQL)通过值函数正则赋予分布外状态-动作较低的价值来避免该问题。然而,由于该算法正则化过于保守,数据集内的分布内状态-动作也被赋予了较低的价值,难以达到训练策略选择数据集中动作的目的,因此很难学习到最优策略。针对该问题,提出了一种基于不确定性权重的保守Q学习算法(UWCQL)。该方法引入不确定性计算,在保守Q学习算法的基础上添加不确定性权重,对不确定性高的动作给予更高的保守权重,使得策略能更合理地选择数据集分布内的状态-动作。将UWCQL算法应用于D4RL的MuJoCo数据集中进行了实验,实验结果表明,UWCQL算法具有更好的性能表现,从而验证了算法的有效性。

关键词：离线强化学习深度强化学习强化学习保守Q学习不确定性

来源：评论

学校读者我要写书评

暂无评论

基于多级特征双向融合的小目标检测优化模型

引用

计算机应用 2024年第9期44卷 2871-2877页

作者：潘烨新杨哲苏州大学计算机科学与技术学院江苏苏州215006 江苏省计算机信息处理技术重点实验室(苏州大学) 江苏苏州215006

由于自身特征较小以及网络的深度造成特征丢失等客观原因,小目标的检测一直是目标检测领域的难点问题。针对以上问题,提出基于网络结构进行多次特征增强以优化小目标检测的模型。首先,替换主干网络中的空间金字塔池化(SPP)以优化梯度计... 详细信息

由于自身特征较小以及网络的深度造成特征丢失等客观原因,小目标的检测一直是目标检测领域的难点问题。针对以上问题,提出基于网络结构进行多次特征增强以优化小目标检测的模型。首先,替换主干网络中的空间金字塔池化(SPP)以优化梯度计算;其次,对网络颈部实行区分特征级别的多级双向融合,并对输出头添加自适应特征融合(AFF)模块,以实现多级的特征增强。实验结果表明,在COCO2017-val数据集上,当交并比(IoU)为0.5时,所提模型的平均精度均值达到61.4%,与目前较流行的YOLOv7模型相比提高了4.7个百分点,同时在单GPU上模型的检测帧率为78.2 frame/s,满足工业检测速度要求。

关键词：深度学习小目标目标检测计算机视觉特征融合

来源：评论

学校读者我要写书评

暂无评论

基于注意力机制的蛋白质残基相互作用预测方法

引用

计算机应用与软件 2024年第6期41卷 55-61页

作者：何如吉权丽君吕强苏州大学计算机科学与技术学院江苏苏州215006 江苏省计算机信息处理技术重点实验室江苏苏州215006

蛋白质残基相互作用预测对于构建蛋白质三级结构具有重要作用,许多基于深度学习的预测方法陆续提出。残基对的相互作用不仅由残基对本身属性决定,还受到所有其他残基对的影响,但多数深度模型采用的卷积神经网络更关注对局部特征的提取,... 详细信息

蛋白质残基相互作用预测对于构建蛋白质三级结构具有重要作用,许多基于深度学习的预测方法陆续提出。残基对的相互作用不仅由残基对本身属性决定,还受到所有其他残基对的影响,但多数深度模型采用的卷积神经网络更关注对局部特征的提取,而忽略了残基对相互作用的全局因素。针对该问题,提出一种基于注意力机制的预测模型,能够兼顾残基对的局部属性以及全局属性。实验结果表明,该模型与其他方法相比具有一定优势。

关键词：蛋白质残基相互作用注意力机制深度学习

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：