检索结果-内蒙古大学图书馆

中国科学：信息科学 2022年第5期52卷 742-764页

作者：王涵俞扬姜远南京大学计算机软件新技术国家重点实验室

强化学习(reinforcement learning,RL)技术经历了数十年的发展,已经被成功地应用于连续决策的环境中.如今强化学习技术受到越来越多的关注,甚至被冠以最接近通用人工智能的方法之一.但是,客观环境中往往不仅包含一个决策智能体.因此,我... 详细信息

强化学习(reinforcement learning,RL)技术经历了数十年的发展,已经被成功地应用于连续决策的环境中.如今强化学习技术受到越来越多的关注,甚至被冠以最接近通用人工智能的方法之一.但是,客观环境中往往不仅包含一个决策智能体.因此,我们更倾向于以多智能体强化学习(multi-agent reinforcement learning,MARL)为技术手段,应对现实的复杂系统.近十年来,多智能体系统(multi-agent system,MAS)和强化学习的结合日渐紧密,逐渐形成并丰富了多智能体强化学习这个研究方向.回顾MARL的相关工作,我们发现研究者们大致从学习框架的讨论、联合动作学习,以及基于通信的MARL这3个角度解决MARL的问题.而本文重点调研基于通信的MARL的工作.首先介绍选取基于通信的MARL进行讨论的原因,然后列举出不同性质的多智能体系统下的代表性工作.希望本文能够为MARL的研究者提供参考,进而提出能够解决实际问题的MAS方法.

关键词：强化学习多智能体系统部分可观测环境多智能体通信协同控制

来源：评论

学校读者我要写书评

暂无评论

软件库依赖图谱的复杂性度量方法及其潜在应用

引用

软件学报 2023年第11期34卷 5282-5311页

作者：于海王莹徐美秋杨博许畅朱志良东北大学软件学院辽宁沈阳110169 南京大学计算机科学与技术系江苏南京210046 计算机软件新技术国家重点实验室(南京大学) 江苏南京210046

在软件开发过程中,软件库可以减少开发时间和节约成本而被广泛使用,因此现代软件项目包含多种不同来源的代码而使得系统具有更高的复杂性和多样性.软件库在使用的过程中常常伴随着各种风险,如低质量或安全漏洞,从而严重影响软件项目的质... 详细信息

在软件开发过程中,软件库可以减少开发时间和节约成本而被广泛使用,因此现代软件项目包含多种不同来源的代码而使得系统具有更高的复杂性和多样性.软件库在使用的过程中常常伴随着各种风险,如低质量或安全漏洞,从而严重影响软件项目的质量.通过分析与软件库的耦合强度,来量化由软件库的依赖关系而引入客户代码的复杂性和多样性.首先,根据客户代码与软件库之间方法的调用关系建立软件边界图模型,区分开客户代码和软件库的代码边界;进而基于此提出一套软件库依赖图谱的复杂性度量指标RMS,用以量化不同来源软件之间的耦合强度.在实验过程中,挖掘Apache开源社区中10个流行软件所有历史版本数据,最终收集到7857个真实项目间依赖缺陷问题.在上述真实数据基础上,结合所提出的复杂性度量指标RMS,利用假设验证方法开展实证调查研究来探讨:H1:风险因子更高的边界节点是否更容易引入更多数量的项目间依赖缺陷;H2:风险因子更高的边界节点会是否更容易引入严重等级高的项目间依赖缺陷;H3:RMS度量指标数值多大程度地影响了引入项目间依赖缺陷数量和严重等级.实验结果表明,根据RMS度量指标评估,与软件库耦合度更高的边界节点容易引入更多数量且严重等级高的项目间依赖缺陷.与传统复杂性度量指标对比,RMS度量指标较大程度地影响了引入项目间依赖缺陷的数量和严重等级.

关键词：经验软件工程第三方库软件度量指标假设验证

来源：评论

学校读者我要写书评

暂无评论

影响预训练语言模型数据泄露的因素研究

引用

信息安全研究 2025年第2期11卷 181-188页

作者：钱汉伟彭季天袁明高光亮刘晓迁王群朱景羽江苏警官学院计算机信息与网络安全系南京210013 计算机软件新技术国家重点实验室(南京大学) 南京210093

当前广泛使用的预训练语言模型是从海量训练语料中学习通用的语言表示.自然语言处理领域的下游任务在使用预训练语言模型后性能得到显著提升,但是深度神经网络过拟合现象使得预训练语言模型可能存在泄露训练语料隐私的风险.选用T5,GPT-2... 详细信息

当前广泛使用的预训练语言模型是从海量训练语料中学习通用的语言表示.自然语言处理领域的下游任务在使用预训练语言模型后性能得到显著提升,但是深度神经网络过拟合现象使得预训练语言模型可能存在泄露训练语料隐私的风险.选用T5,GPT-2,OPT等广泛使用的预训练语言模型作为研究对象,利用模型反演攻击探索影响预训练语言模型数据泄露的因素.实验过程中利用预训练语言模型生成大量样本,以困惑度等指标选取最有可能发生数据泄露风险的样本进行验证,证明了T5等不同模型均存在不同程度的数据泄露问题;同一种模型,模型规模越大数据泄露可能性越大;添加特定前缀更容易获取泄露数据等问题.对未来数据泄露问题及其防御方法进行了展望.

关键词：自然语言处理预训练语言模型隐私数据泄露模型反演攻击模型架构

来源：评论

学校读者我要写书评

暂无评论

基于指标依赖模型构建与监控的攻击检测方法

引用

软件学报 2023年第6期34卷 2641-2668页

作者：王立敏卜磊马乐之于笑丰沈宁国计算机软件新技术国家重点实验室(南京大学) 江苏南京210023 南京大学计算机科学与技术系江苏南京210023 南京大学软件学院江苏南京210093 南京大学商学院江苏南京210093 华为技术有限公司广东深圳518129

随着攻击技术的不断演进,防御的难度也与日俱增.为了及时、有效地识别和阻断攻击的实施,学术界与工业界已提出众多基于攻击检测的防御技术.现有的攻击检测方法主要着眼于攻击事件,通过识别攻击特征或者定位异常活动来发现攻击,分别具有... 详细信息

随着攻击技术的不断演进,防御的难度也与日俱增.为了及时、有效地识别和阻断攻击的实施,学术界与工业界已提出众多基于攻击检测的防御技术.现有的攻击检测方法主要着眼于攻击事件,通过识别攻击特征或者定位异常活动来发现攻击,分别具有泛化性和攻击导向性不足的局限性,容易被攻击者精心构造的攻击变种绕过,造成漏报和误报.然而,根据观察发现:尽管攻击及其变种可能采用众多不同的攻击机制来绕过一些防御措施,以实现同一攻击目的,但是由于攻击目的不变,这些攻击对系统的影响依然具有相似性,因此,所造成的系统影响并不会随攻击手段的大量增多而随之产生对应的增长.针对这一特点,提出了基于攻击指标依赖模型的攻击检测方法,以更有效地应对攻击变种.所提出的指标依赖模型着眼于漏洞利用后对系统的影响而非变化多样的攻击行为,因此具有更强的泛化能力.基于模型指导,进一步采用多层次监控技术,以迅速捕获定位攻击迹,最终实现对目标攻击与变种的精确检测,有效降低攻击检测的误报率.在DARPA透明计算项目以及典型APT攻击组成的测试集上,与现有的基于攻击事件分析的检测方法进行实验对比,结果表明:在预设场景下,所提出的方法可以根据可接受的性能损耗实现99.30%的检出率.

关键词：指标依赖模型攻击检测漏洞利用系统状态

来源：评论

学校读者我要写书评

暂无评论

不动点视角下的强化学习算法综述

引用

计算机学报 2023年第6期46卷 1246-1271页

作者：陈兴国孙丁源昊杨光杨尚东高阳南京邮电大学大数据安全与智能处理重点实验室南京210023 南京大学计算机软件新技术国家重点实验室南京210046 南京大学深圳研究院广东深圳518057

近年来,强化学习已成为求解序贯决策任务的范式.然而,在实际应用中,强化学习算法仍存在三个问题:(1)什么解最优?(2)如何保证算法的稳定性?(3)如何加速算法的收敛?本文从不动点视角总结了强化学习算法的设计原理.首先,分析了值函数估计... 详细信息

近年来,强化学习已成为求解序贯决策任务的范式.然而,在实际应用中,强化学习算法仍存在三个问题:(1)什么解最优?(2)如何保证算法的稳定性?(3)如何加速算法的收敛?本文从不动点视角总结了强化学习算法的设计原理.首先,分析了值函数估计最优解与可行解的构造问题;其次,根据Banach不动点定理和Lyapunov第二判定定理,总结了已有基于值函数强化学习算法的稳定性问题,包括基于表格、线性估计、非线性估计、非参估计等值函数的算法在同策略和异策略情况下的收敛性;然后,从不动点的偏差与方差控制角度,解读了多种提高算法准确性或收敛速度的改进思想;最后总结和展望了强化学习算法的改进方向.

关键词：强化学习值函数估计稳定性同策略异策略偏差与方差控制

来源：评论

学校读者我要写书评

暂无评论

卷积神经网络的可解释性研究综述

引用

软件学报 2024年第1期35卷 159-184页

作者：窦慧张凌茗韩峰申富饶赵健计算机软件新技术国家重点实验室(南京大学) 江苏南京210023 南京大学计算机科学与技术系江苏南京210023 南京大学人工智能学院江苏南京210023 南京大学电子科学与工程学院江苏南京210023

神经网络模型性能日益强大,被广泛应用于解决各类计算机相关任务,并表现出非常优秀的能力,但人类对神经网络模型的运行机制却并不完全理解.针对神经网络可解释性的研究进行了梳理和汇总,就模型可解释性研究的定义、必要性、分类、评估... 详细信息

神经网络模型性能日益强大,被广泛应用于解决各类计算机相关任务,并表现出非常优秀的能力,但人类对神经网络模型的运行机制却并不完全理解.针对神经网络可解释性的研究进行了梳理和汇总,就模型可解释性研究的定义、必要性、分类、评估等方面进行了详细的讨论.从解释算法的关注点出发,提出一种神经网络可解释算法的新型分类方法,为理解神经网络提供一个全新的视角.根据提出的新型分类方法对当前卷积神经网络的可解释方法进行梳理,并对不同类别解释算法的特点进行分析和比较.同时,介绍了常见可解释算法的评估原则和评估方法.对可解释神经网络的研究方向与应用进行概述.就可解释神经网络面临的挑战进行阐述,并针对这些挑战给出可能的解决方向.

关键词：神经网络可解释性分类深度学习

来源：评论

学校读者我要写书评

暂无评论

随机集成策略迁移

引用

计算机科学与探索 2022年第11期16卷 2531-2536页

作者：常田章宗长俞扬南京大学计算机软件新技术国家重点实验室南京210023

强化学习(RL)在序列决策问题上取得了巨大的成功。随着强化学习的飞速发展,迁移学习(TL)成为了一种重要的可以通过利用和转移外部知识来加速强化学习的技术。策略迁移是一种外部知识来自教师策略的迁移强化学习方法。现有的策略转移方... 详细信息

强化学习(RL)在序列决策问题上取得了巨大的成功。随着强化学习的飞速发展,迁移学习(TL)成为了一种重要的可以通过利用和转移外部知识来加速强化学习的技术。策略迁移是一种外部知识来自教师策略的迁移强化学习方法。现有的策略转移方法要么通过测量源任务与目标任务之间的相似性来转移知识,要么通过估计源策略在目标任务上的性能来选择最佳源策略。但是,性能估计有时可能不可靠,这可能会导致负迁移。针对这种问题,提出了一种新的策略转移方法,称为随机集成策略迁移(SEPT)。SEPT不是在源策略库中选择一个策略,而是利用源策略集成出教师策略来进行迁移。SEPT把策略迁移转变为选项学习问题以便获得终止概率,用终止概率计算出源策略的概率权重,根据概率权重从策略库中集成出教师策略。然后,通过策略蒸馏的方式从教师策略进行知识迁移。实验结果表明SEPT可以有效地加速强化学习训练,并且在离散和连续空间上都能胜过其他最佳的策略迁移方法。

关键词：迁移学习(TL) 强化学习(RL) 策略迁移选项学习集成策略蒸馏

来源：评论

学校读者我要写书评

暂无评论

分布式梅特罗波利斯算法:收敛条件与最优并行加速

引用

中国科学：信息科学 2022年第2期52卷 287-313页

作者：凤维明尹一通南京大学计算机软件新技术国家重点实验室南京210023

梅特罗波利斯算法(Metropolis algorithm)是一种基本的马尔可夫链蒙特卡罗(Markov chain Monte Carlo,MCMC)采样技术,可用于从概率图模型所表示的高维概率分布(即吉布斯(Gibbs)分布)中进行随机采样.传统的梅特罗波利斯算法是一个串行算... 详细信息

梅特罗波利斯算法(Metropolis algorithm)是一种基本的马尔可夫链蒙特卡罗(Markov chain Monte Carlo,MCMC)采样技术,可用于从概率图模型所表示的高维概率分布(即吉布斯(Gibbs)分布)中进行随机采样.传统的梅特罗波利斯算法是一个串行算法.关于其快速收敛性的一个经典结论是:当满足梅特罗波利斯算法的Dobrushin-Shlosman条件时,该算法在O(n log n)步内快速收敛,其中n是随机变量的个数.本文研究了梅特罗波利斯算法的分布式版本——局部梅特罗波利斯算法.对该算法的正确性与收敛速度进行了分析,证明了该算法总是收敛于正确的吉布斯分布;并且对于一类自然的不包含三角形(triangle-free)概率图模型,如果满足相同的Dobrushin-Shlosman条件,则局部梅特罗波利斯算法在O(log n)轮内快速收敛.相比于传统的串行算法,实现了?(n)倍的渐进最优并行加速比.具体应用包括图染色、硬核模型和伊辛(Ising)模型的分布式采样算法.

关键词：分布式采样马尔可夫链蒙特卡洛混合时间自旋系统耦合

来源：评论

学校读者我要写书评

暂无评论

基于超像素图像分割的暗通道先验去雾改进算法

引用

电子学报 2023年第1期51卷 146-159页

作者：金天虎陶砚蕴李佐勇苏州大学轨道交通学院南京大学计算机软件新技术国家重点实验室福建省信息处理与智能控制重点实验室(闽江学院)

本文针对暗通道先验去雾算法在天空等明亮区域存在明显的噪声放大和色彩失真的问题，从大气散射模型和暗通道先验理论出发修正大气光值和非暗通道区域透射率，提出了基于超像素图像分割的暗通道先验去雾改进算法.本文算法基于大气散射... 详细信息

本文针对暗通道先验去雾算法在天空等明亮区域存在明显的噪声放大和色彩失真的问题，从大气散射模型和暗通道先验理论出发修正大气光值和非暗通道区域透射率，提出了基于超像素图像分割的暗通道先验去雾改进算法.本文算法基于大气散射模型和暗通道先验理论建立雾天成像模型；通过超像素阈值分割算法将图像分为暗通道区域和非暗通道区域，暗通道区域（Dark Channel Region,DCR）即图像中符合暗通道先验理论的部分，非暗通道区域（Non-Dark Channel Region,NDCR）即图像中不符合暗通道先验理论的部分；再分别通过非暗通道区域和暗通道区域的超像素，估计全局大气光值，修正非暗通道区域透射率；最终根据大气散射模型恢复无雾图像.本文算法提高了全局大气光值的准确性，有效抑制了天空等非暗通道区域的失真，复原图像更加清晰自然，增强了视觉效果.主观和客观评价的实验表明，本文算法能够取得比传统算法更优的去雾效果.

关键词：图像去雾暗通道先验超像素图像分割全局大气光值和透射率修正暗通道区域

来源：评论

学校读者我要写书评

暂无评论

词典释义增强的古文机器翻译

引用

中文信息学报 2025年第4期39卷 85-95页

作者：李家欢吴若纯黄书剑胡文菁陈冀轩徐维潞陈家骏南京大学软件新技术国家重点实验室江苏南京210023 南京大学计算机学院江苏南京210023

古文自动翻译技术可有效促进古籍的传承和发展,弘扬中华传统文化。然而,现有古籍翻译语料规模较小,知识缺乏,导致古文翻译系统性能不佳。该文提出使用词典注释资源增强古文翻译系统。作者收集古汉语常见汉字的释义,并设计了一个词典释... 详细信息

古文自动翻译技术可有效促进古籍的传承和发展,弘扬中华传统文化。然而,现有古籍翻译语料规模较小,知识缺乏,导致古文翻译系统性能不佳。该文提出使用词典注释资源增强古文翻译系统。作者收集古汉语常见汉字的释义,并设计了一个词典释义选择-融合的二阶段机器翻译框架,以从词典释义中获取有效信息,去除无效信息。在一个中等规模的古文翻译数据集上的实验表明,该文的方法相比于基线模型和前人的释义融合方法,显著提升了翻译质量。另外,该文还设计了一个具有古文特色的翻译人工评估体系,并对现有的古文翻译系统进行了综合、全面的评估。

关键词：古汉语机器翻译词典释义

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：