检索结果-内蒙古大学图书馆

中国科学:信息科学 2025年第2期55卷 217-268页

作者：袁雷张子谦李立和管聪俞扬南京大学计算机软件新技术国家重点实验室南京210023

多智能体强化学习(multi-agent reinforcement learning, MARL)近年来获得广泛关注并在不同领域取得进展.其中,协作多智能体强化学习专注于训练智能体团队以协同完成单智能体难以应对的任务目标,在路径规划、无人驾驶、主动电压控制和... 详细信息

多智能体强化学习(multi-agent reinforcement learning, MARL)近年来获得广泛关注并在不同领域取得进展.其中,协作多智能体强化学习专注于训练智能体团队以协同完成单智能体难以应对的任务目标,在路径规划、无人驾驶、主动电压控制和动态算法配置等场景展现出巨大的应用潜力.如何提升系统协作效能是协作多智能体强化学习领域研究重点之一.以往的研究工作主要在简单、静态和封闭的环境设定中展开.随着人工智能技术落地的驱使,目前在多智能体协作领域也有部分研究开始对开放环境下的多智能体协作展开研究,这些工作从多个方面对智能体所处环境中要素可能发生改变这一情况进行探索与研究,并取得一定进展.但是当前主流工作仍然缺乏对该方向的综述.本文从强化学习概念着手,针对多智能体系统、协作多智能体强化学习、典型方法与测试环境进行介绍,对封闭到开放环境下的协作多智能体强化学习研究工作进行总结,提炼出多类研究方向并对典型工作进行介绍.最后,本文对当前研究的优势与不足进行了总结,对未来开放环境下协作多智能体强化学习的发展方向与待研究问题进行展望,以吸引更多研究人士参与这个新兴方向的研究与交流.

关键词：强化学习多智能体系统多智能体协作开放环境机器学习开放环境多智能体协作

来源：评论

学校读者我要写书评

暂无评论

稳健的重尾线性赌博机算法

引用

计算机研究与发展 2023年第6期60卷 1385-1395页

作者：马兰霁弘赵鹏周志华计算机软件新技术国家重点实验室(南京大学) 南京210023

线性赌博机模型是在线学习的基本模型之一,其每个摇臂的平均奖赏可以由线性函数进行参数化.该模型具有坚实的理论保证和良好的实际建模能力,被广泛应用于各个场景.然而在一些现实场景中,数据通常是从开放动态环境中收集得到,因而会存在... 详细信息

线性赌博机模型是在线学习的基本模型之一,其每个摇臂的平均奖赏可以由线性函数进行参数化.该模型具有坚实的理论保证和良好的实际建模能力,被广泛应用于各个场景.然而在一些现实场景中,数据通常是从开放动态环境中收集得到,因而会存在数据不规范的问题,已有算法缺乏对此的稳健性.特别关注2类数据的不规范性:奖励函数的回归参数可能随时间变化,环境噪声可能无界,甚至不服从亚高斯分布.这2类问题分别被称为分布变化和重尾噪声.为了应对这2类不利因素,提出一种基于置信上界的在线算法,该算法使用均值中位数估计器以处理潜在的重尾噪声,同时采用重启机制来解决分布变化问题.在理论上,首先建立了问题的遗憾理论下界,进一步给出了算法的理论保障,所取得的结果可以回退到已有研究中没有分布变化或没有重尾噪声场景线性赌博机的理论结果.此外,针对未知环境设计了实用的在线集成适应技术,并在合成和真实世界的数据集上进行了广泛的实验来验证其有效性.

关键词：机器学习开放环境学习线性赌博机或没有重尾分布变化重尾噪声

来源：评论

学校读者我要写书评

暂无评论

结合主动学习和半监督学习的软件可追踪性恢复框架

引用

软件学报 2025年第5期36卷 1924-1948页

作者：董黎明张贺孟庆龙匡宏宇南京大学软件学院江苏南京210093 计算机软件新技术国家重点实验室(南京大学) 江苏南京210093

软件可追踪性被认为是软件开发过程可信的一个重要因素,确保对软件开发过程的可见性并进行全面追踪,从而提高软件的可信度和可靠性.近年来,自动化的软件可追踪性恢复方法取得了显著进展,但在企业项目中的应用仍面临挑战.通过调研研究和... 详细信息

软件可追踪性被认为是软件开发过程可信的一个重要因素,确保对软件开发过程的可见性并进行全面追踪,从而提高软件的可信度和可靠性.近年来,自动化的软件可追踪性恢复方法取得了显著进展,但在企业项目中的应用仍面临挑战.通过调研研究和实验案例分析,发现工业界场景中可追踪性模型表现不佳的3个关键挑战:原始数据低质量、样本稀疏性和不平衡性,并提出一种结合主动学习和半监督学习的软件可追踪性恢复框架STRACE(AL+SSL).该框架通过选择有价值的标注样本和生成高质量的伪标签样本,有效利用未标注的样本,克服数据低质量和稀疏性挑战.实验基于10个样本规模在几万至近百万个issue-commit跟踪对实例的企业项目,进行多组对比实验,结果表明该框架在当前真实企业项目软件可追踪性恢复任务上具有有效性.其中消融实验结果表明STRACE(AL+SSL)中主动学习模块所选择的无标签样本在可追踪性恢复任务中发挥了更为重要的作用.此外,还验证各个模块最佳的样本选择策略组合,包括调整后的半监督类平衡自训练样本选择策略CBST-Adjust和低成本高效率的主动学习子模块互信息SMI_Flqmi样本选择策略.

关键词：软件可追踪性主动学习半监督学习

来源：评论

学校读者我要写书评

暂无评论

基于策略多样性熵指标的无人机群智系统激发-汇聚程度度量方法研究

引用

中国科学：技术科学 2023年第4期53卷 547-564页

作者：王文汪亮吴俊锋陶先平胡昊南京大学计算机软件新技术国家重点实验室南京210023

新一代无人机群系统的重要特征是具有群体智能,是一类典型的群智激发汇聚系统.目前,多智能体强化学习技术展现出较强优势,是构建新一代自主智能无人机群系统的重要方法.但多智能体强化学习的训练过程尚处于“黑盒”状态,缺乏对群体智能... 详细信息

新一代无人机群系统的重要特征是具有群体智能,是一类典型的群智激发汇聚系统.目前,多智能体强化学习技术展现出较强优势,是构建新一代自主智能无人机群系统的重要方法.但多智能体强化学习的训练过程尚处于“黑盒”状态,缺乏对群体智能的激发和汇聚程度的有效度量手段.针对这一问题,从多智能体强化学习中智能体的策略出发,以策略多样性度量无人机群在多智能体强化学习的训练过程中的激发-汇聚程度.为了对策略的多样性进行度量,借鉴物种多样性和信息论中的相关概念,明确了策略多样性的内涵包括丰富和均匀程度两方面,提出了“策略距离二次熵”和“动作分布信息熵”这两种策略多样性的计算方法.设计了无人机群突防场景对本文所提出的策略多样性指标和两种计算方法的有效性和有用性进行了验证,并通过敏感程度分析对两种计算方法进行了对比.实验结果表明这两种计算方法在该场景中均能有效区分策略多样性的变化,且两种计算方法间具有一致性,从而验证了策略多样性指标及其计算方法的有效性.在有用性方面,验证了策略多样性与奖赏之间的关联关系,以及环境的动态改变与策略多样性之间的相互影响和关联关系,体现了策略多样性在认知群智系统,指导群智激发汇聚过程上的潜在有用性.提出的策略多样性及其计算方法,能够为定量认知群智系统激发-汇聚程度,进而对群智系统的学习和训练开展引导和干预提供方法支撑.

关键词：群智激发-汇聚度量策略多样性策略距离二次熵动作分布信息熵无人机群导航

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的类别增量学习算法综述

引用

计算机学报 2023年第8期46卷 1577-1605页

作者：周大蔚汪福运叶翰嘉詹德川计算机软件新技术国家重点实验室(南京大学) 南京210023

近年来,深度学习模型在众多领域取得了广泛成功.现有的深度学习模型大多部署在静态环境下,依赖提前收集好的数据集进行离线训练,模型一经确定,便无法进一步更新.然而,现实中开放动态的环境往往存在以流形式不断到来的数据,包括随时间演... 详细信息

近年来,深度学习模型在众多领域取得了广泛成功.现有的深度学习模型大多部署在静态环境下,依赖提前收集好的数据集进行离线训练,模型一经确定,便无法进一步更新.然而,现实中开放动态的环境往往存在以流形式不断到来的数据,包括随时间演进不断产生的新类别数据.因此,理想的机器学习模型应能够从流式数据中不断学习新类,从而增强自身的判别能力.这样的学习范式被称作“类别增量学习”(class-incremental learning),且近年来已成为机器学习领域的研究热点.面对流式数据,直接使用新类别样本训练模型会使其遗忘旧类别的数据,造成整体性能的下降.因此,设计增量学习模型时,需确保模型在学习新类的同时也能够抵抗灾难性遗忘.本文从机器学习的三个重要方面(数据层面、参数层面、算法层面)着眼,总结和归纳近几年基于深度学习的类别增量学习算法.此外,本文还在基准数据集上对10种典型算法进行了实验验证,并从中总结出适应类别增量学习的一般性规律.最后,本文对基于深度学习的类别增量学习算法目前存在的挑战加以分析,并展望未来的发展趋势.

关键词：类别增量学习持续学习开放动态环境灾难性遗忘模型复用

来源：评论

学校读者我要写书评

暂无评论

高维贝叶斯优化研究综述

引用

软件学报 2025年第6期36卷 2576-2603页

作者：陈泉霖陈奕宇霍静曹宏业高阳李栋郝建业计算机软件新技术国家重点实验室(南京大学) 华为技术有限公司诺亚方舟实验室

贝叶斯优化是一种优化黑盒函数的技术,高效的样本利用率使其在众多科学和工程领域中得到了广泛应用,如深度模型调参、化合物设计、药物开发和材料设计等.然而,当输入空间维度较高时,贝叶斯优化的性能会显著下降.为了克服这一限制,许多... 详细信息

贝叶斯优化是一种优化黑盒函数的技术,高效的样本利用率使其在众多科学和工程领域中得到了广泛应用,如深度模型调参、化合物设计、药物开发和材料设计等.然而,当输入空间维度较高时,贝叶斯优化的性能会显著下降.为了克服这一限制,许多研究对贝叶斯优化方法进行了高维扩展.为了深入剖析高维贝叶斯优化的研究方法,根据不同工作的假设与特征将高维贝叶斯优化方法分为3类:基于有效低维度假设的方法、基于加性假设的方法以及基于局部搜索的方法,并对这些方法进行阐述和分析.首先着重分析这3类方法的研究进展,然后比较各类方法在贝叶斯优化应用中的优劣势,最后总结当前阶段高维贝叶斯优化的主要研究趋势,并对未来发展方向展开讨论.

关键词：高维贝叶斯优化贝叶斯优化黑盒优化降维变量选择

来源：评论

学校读者我要写书评

暂无评论

稳健选择伪标注的混合式半监督学习

引用

中国科学：信息科学 2024年第3期54卷 623-637页

作者：郭兰哲李宇峰计算机软件新技术国家重点实验室(南京大学) 南京210023

半监督学习旨在数据标注缺乏的情形下利用无标注数据提升学习性能,是重要的机器学习范式.尽管不少研究报道表明半监督学习取得了优异的性能表现,然而其在面临诸多实践任务时仍存在伪标注质量判断困难、超参数选择敏感、理论指导缺乏等瓶... 详细信息

半监督学习旨在数据标注缺乏的情形下利用无标注数据提升学习性能,是重要的机器学习范式.尽管不少研究报道表明半监督学习取得了优异的性能表现,然而其在面临诸多实践任务时仍存在伪标注质量判断困难、超参数选择敏感、理论指导缺乏等瓶颈.针对上述挑战,本文提出一种稳健选择伪标注的混合式半监督学习方法,通过综合利用模型预测结果之间的分歧自适应地判断伪标注质量,无需预设超参数,显著提升了半监督学习的稳健性.本文在理论上证明了新方法的错误率随训练轮数的增加而显著下降.实验验证了本文方法较主流技术取得了明显的性能提升,例如,相较于在CIFAR-10数据集中表现最优的半监督学习技术FixMatch,新方法的分类错误率下降了11%以上,在更具挑战的STL-10数据集中分类错误率下降了18.8%.

关键词：机器学习深度学习半监督学习伪标注稳健性

来源：评论

学校读者我要写书评

暂无评论

测试集有效性评价:问题、进展与挑战

引用

软件学报 2024年第2期35卷 532-580页

作者：路则雨张鹏王洋郭肇强杨已彪周毓明计算机软件新技术国家重点实验室(南京大学) 江苏南京210023 南京大学计算机科学与技术系江苏南京210023

测试用例集的缺陷检测有效性指测试集能够在多大程度上检测出软件中存在的缺陷.如何评价测试集的缺陷检测有效性是一个重要问题.覆盖率和变异得分是两个最重要和最广泛使用的测试集有效性度量.为量化测试集的缺陷检测能力,研究人员对测... 详细信息

测试用例集的缺陷检测有效性指测试集能够在多大程度上检测出软件中存在的缺陷.如何评价测试集的缺陷检测有效性是一个重要问题.覆盖率和变异得分是两个最重要和最广泛使用的测试集有效性度量.为量化测试集的缺陷检测能力,研究人员对测试集有效性评价进行了大量研究并且取得了较大的进展.与此同时,现有研究存在不一致的结论,该领域依然存在一些亟待解决的挑战.对多年来国内外学者在测试集有效性评价领域的研究成果进行系统性的梳理和总结.首先,阐述测试集有效性评价研究中的问题.然后,介绍并分析基于覆盖率和基于变异得分的测试集有效性的评价以及介绍测试集有效性评价在测试集优化中的应用.最后,指出测试集有效性评价研究中面临的挑战并给出建议的研究方向.

关键词：覆盖率变异得分缺陷检测测试集有效性

来源：评论

学校读者我要写书评

暂无评论

安全的混成系统神经网络控制器生成与验证

引用

软件学报 2023年第7期34卷 2981-3001页

作者：赵庆晔王豫李宣东计算机软件新技术国家重点实验室(南京大学) 江苏南京210023

控制器生成是混成系统控制中的重要问题.生成具有安全保证的控制器,关系着混成系统在安全攸关领域的使用.提出了一种为混成系统生成具有安全保证的神经网络控制器的方法.神经网络控制器的安全性由与其同时生成的障碍证书保证.为了生成... 详细信息

控制器生成是混成系统控制中的重要问题.生成具有安全保证的控制器,关系着混成系统在安全攸关领域的使用.提出了一种为混成系统生成具有安全保证的神经网络控制器的方法.神经网络控制器的安全性由与其同时生成的障碍证书保证.为了生成安全的神经网络控制器,首先确定控制器的网络结构,并基于混成系统构造训练数据集;然后,根据保证控制器安全的障碍证书条件编码神经网络训练时的损失函数.当训练完成后,学习到的神经网络控制器对于训练数据集中的数据是安全的,但对于整个混成系统可能并不安全.为了检验学习到的控制器在整个系统上的安全性,将其安全验证问题转化为一组混合整数规划问题,并使用数值优化器求解,以得到形式化保证的结果.工作实现了安全神经网络控制器生成工具SafeNC,并评估了它在8个基准系统上的性能.实验结果表明:SafeNC可以生成包含6个隐藏层的具有1804个神经元的安全神经网络控制器;同时,与现有方法相比,SafeNC可为更复杂的系统生成安全的神经网络控制器,更有效且更具扩展性.

关键词：混成系统安全控制神经网络控制器障碍证书混合整数规划

来源：评论

学校读者我要写书评

暂无评论

Pobe:一种基于生成式模型的分布外文本检测方法

引用

软件学报 2024年第9期35卷 4365-4376页

作者：欧阳亚文高源宗石鲍宇戴新宇计算机软件新技术国家重点实验室(南京大学) 江苏南京210023 南京大学计算机科学与技术系江苏南京210023

对于安全可靠的机器学习系统,具备检测训练集分布外(out-of-distribution,OOD)样本的能力十分必要.基于似然的生成式模型由于训练时不需要样本标签,是一类非常受欢迎的OOD检测方法.然而,近期研究表明通过似然来检测OOD样本往往会失效,... 详细信息

对于安全可靠的机器学习系统,具备检测训练集分布外(out-of-distribution,OOD)样本的能力十分必要.基于似然的生成式模型由于训练时不需要样本标签,是一类非常受欢迎的OOD检测方法.然而,近期研究表明通过似然来检测OOD样本往往会失效,并且失效原因与解决方案的探究仍较少,尤其是对于文本数据.从模型层面和数据层面分析文本上失效的原因:生成式模型的泛化性不足和文本先验概率的偏差.在此基础上,提出一种新的OOD文本检测方法Pobe.针对生成式模型泛化性不足的问题,引入KNN检索的方式,来提升模型的泛化性.针对文本先验概率偏差的问题,设计一种偏差校准策略,借助预训练语言模型改善概率偏差对OOD检测的影响,并通过贝叶斯定理证明策略的合理性.通过在广泛的数据集上进行实验,证明所提方法的有效性,其中,在8个数据集上的平均AUROC值超过99%,FPR95值低于1%.

关键词：机器学习分布外检测生成式模型文本检索预训练语言模型

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：