检索结果-内蒙古大学图书馆

计算机学报 2023年第6期46卷 1246-1271页

作者：陈兴国孙丁源昊杨光杨尚东高阳南京邮电大学大数据安全与智能处理重点实验室南京210023 南京大学计算机软件新技术国家重点实验室南京210046 南京大学深圳研究院广东深圳518057

近年来,强化学习已成为求解序贯决策任务的范式.然而,在实际应用中,强化学习算法仍存在三个问题:(1)什么解最优?(2)如何保证算法的稳定性?(3)如何加速算法的收敛?本文从不动点视角总结了强化学习算法的设计原理.首先,分析了值函数估计... 详细信息

近年来,强化学习已成为求解序贯决策任务的范式.然而,在实际应用中,强化学习算法仍存在三个问题:(1)什么解最优?(2)如何保证算法的稳定性?(3)如何加速算法的收敛?本文从不动点视角总结了强化学习算法的设计原理.首先,分析了值函数估计最优解与可行解的构造问题;其次,根据Banach不动点定理和Lyapunov第二判定定理,总结了已有基于值函数强化学习算法的稳定性问题,包括基于表格、线性估计、非线性估计、非参估计等值函数的算法在同策略和异策略情况下的收敛性;然后,从不动点的偏差与方差控制角度,解读了多种提高算法准确性或收敛速度的改进思想;最后总结和展望了强化学习算法的改进方向.

关键词：强化学习值函数估计稳定性同策略异策略偏差与方差控制

来源：评论

学校读者我要写书评

暂无评论

面向改进的时空Transformer的交通流量预测模型

引用

计算机工程与应用 2023年第7期59卷 250-260页

作者：高榕万以亮邵雄凯吴歆韵湖北工业大学计算机学院武汉430068 南京大学计算机软件新技术国家重点实验室南京210093

针对基于时空Transformer模型的交通流量预测模型性能不高的问题,提出了一种基于编解码器的改进的时空Transformer模型(improved spatio-temporal Transformer model,ISTTM)。编码器对历史流量特征进行编码,解码器预测未来序列。编码器... 详细信息

针对基于时空Transformer模型的交通流量预测模型性能不高的问题,提出了一种基于编解码器的改进的时空Transformer模型(improved spatio-temporal Transformer model,ISTTM)。编码器对历史流量特征进行编码,解码器预测未来序列。编码器将空间稀疏自注意力和时间层次扩散卷积相结合,捕捉交通流量的动态空间相关性和局部空间特征,再利用时间自注意力建模非线性时间相关性;解码器与编码器类似地挖掘出输入序列的时空特征。基于编解码器提取的时空特征,采用双重交叉注意力模拟历史交通观测对未来预测的影响,建模每个历史时间步和每个未来时间步的直接关系以及对整个未来时间段的影响,并输出未来交通流量的最终表示。为了证实ISTTM的有效性,在METR-LA和NE-BJ两个真实世界的大规模数据集上进行实验,ISTTM结果优于6个先进的基线。

关键词：交通流量预测时空特征稀疏自注意力扩散卷积

来源：评论

学校读者我要写书评

暂无评论

基于通信的多智能体强化学习进展综述

引用

中国科学：信息科学 2022年第5期52卷 742-764页

作者：王涵俞扬姜远南京大学计算机软件新技术国家重点实验室

强化学习(reinforcement learning,RL)技术经历了数十年的发展,已经被成功地应用于连续决策的环境中.如今强化学习技术受到越来越多的关注,甚至被冠以最接近通用人工智能的方法之一.但是,客观环境中往往不仅包含一个决策智能体.因此,我... 详细信息

强化学习(reinforcement learning,RL)技术经历了数十年的发展,已经被成功地应用于连续决策的环境中.如今强化学习技术受到越来越多的关注,甚至被冠以最接近通用人工智能的方法之一.但是,客观环境中往往不仅包含一个决策智能体.因此,我们更倾向于以多智能体强化学习(multi-agent reinforcement learning,MARL)为技术手段,应对现实的复杂系统.近十年来,多智能体系统(multi-agent system,MAS)和强化学习的结合日渐紧密,逐渐形成并丰富了多智能体强化学习这个研究方向.回顾MARL的相关工作,我们发现研究者们大致从学习框架的讨论、联合动作学习,以及基于通信的MARL这3个角度解决MARL的问题.而本文重点调研基于通信的MARL的工作.首先介绍选取基于通信的MARL进行讨论的原因,然后列举出不同性质的多智能体系统下的代表性工作.希望本文能够为MARL的研究者提供参考,进而提出能够解决实际问题的MAS方法.

关键词：强化学习多智能体系统部分可观测环境多智能体通信协同控制

来源：评论

学校读者我要写书评

暂无评论

拓扑信息引导的视频异常行为检测方法

引用

计算机工程与应用 2024年第16期60卷 228-235页

作者：陈明一李洪均南通大学信息科学技术学院江苏南通226019 南京大学计算机软件新技术国家重点实验室南京210093

在视频异常检测任务中,良好的特征提取能力在多帧预测方法中十分重要。然而当面对复杂的环境时,传统的基于空间特征的提取方法往往在多层卷积的过程中忽略了底层特征之间的全局依赖关系。为了更好地进行特征提取,提出一种依托拓扑强相... 详细信息

在视频异常检测任务中,良好的特征提取能力在多帧预测方法中十分重要。然而当面对复杂的环境时,传统的基于空间特征的提取方法往往在多层卷积的过程中忽略了底层特征之间的全局依赖关系。为了更好地进行特征提取,提出一种依托拓扑强相关信息引导的视频异常检测方法。该方法针对底层特征序列进行全局相关性信息的提取,并以此初步增强特征中强关联的信息。将底层特征作为节点,裁剪后的相关性信息作为邻里矩阵,构建关键特征之间的拓扑结构关系图,有效地利用了关键特征的拓扑结构信息。将初步增强的特征与拓扑结构特征进行特征融合,帮助模型更深入更全面地筛选关键特征,提高了特征表达能力。该方法在Ped2、Avenue和ShanghaiTech三个公开数据集上取得了良好的视频帧预测效果,提高了模型的检测精度。

关键词：视频异常行为检测相关性信息提取拓扑关系网络构建拓扑特征提取

来源：评论

学校读者我要写书评

暂无评论

影响预训练语言模型数据泄露的因素研究

引用

信息安全研究 2025年第2期11卷 181-188页

作者：钱汉伟彭季天袁明高光亮刘晓迁王群朱景羽江苏警官学院计算机信息与网络安全系南京210013 计算机软件新技术国家重点实验室(南京大学) 南京210093

当前广泛使用的预训练语言模型是从海量训练语料中学习通用的语言表示.自然语言处理领域的下游任务在使用预训练语言模型后性能得到显著提升,但是深度神经网络过拟合现象使得预训练语言模型可能存在泄露训练语料隐私的风险.选用T5,GPT-2... 详细信息

当前广泛使用的预训练语言模型是从海量训练语料中学习通用的语言表示.自然语言处理领域的下游任务在使用预训练语言模型后性能得到显著提升,但是深度神经网络过拟合现象使得预训练语言模型可能存在泄露训练语料隐私的风险.选用T5,GPT-2,OPT等广泛使用的预训练语言模型作为研究对象,利用模型反演攻击探索影响预训练语言模型数据泄露的因素.实验过程中利用预训练语言模型生成大量样本,以困惑度等指标选取最有可能发生数据泄露风险的样本进行验证,证明了T5等不同模型均存在不同程度的数据泄露问题;同一种模型,模型规模越大数据泄露可能性越大;添加特定前缀更容易获取泄露数据等问题.对未来数据泄露问题及其防御方法进行了展望.

关键词：自然语言处理预训练语言模型隐私数据泄露模型反演攻击模型架构

来源：评论

学校读者我要写书评

暂无评论

基于指标依赖模型构建与监控的攻击检测方法

引用

软件学报 2023年第6期34卷 2641-2668页

作者：王立敏卜磊马乐之于笑丰沈宁国计算机软件新技术国家重点实验室(南京大学) 江苏南京210023 南京大学计算机科学与技术系江苏南京210023 南京大学软件学院江苏南京210093 南京大学商学院江苏南京210093 华为技术有限公司广东深圳518129

随着攻击技术的不断演进,防御的难度也与日俱增.为了及时、有效地识别和阻断攻击的实施,学术界与工业界已提出众多基于攻击检测的防御技术.现有的攻击检测方法主要着眼于攻击事件,通过识别攻击特征或者定位异常活动来发现攻击,分别具有... 详细信息

随着攻击技术的不断演进,防御的难度也与日俱增.为了及时、有效地识别和阻断攻击的实施,学术界与工业界已提出众多基于攻击检测的防御技术.现有的攻击检测方法主要着眼于攻击事件,通过识别攻击特征或者定位异常活动来发现攻击,分别具有泛化性和攻击导向性不足的局限性,容易被攻击者精心构造的攻击变种绕过,造成漏报和误报.然而,根据观察发现:尽管攻击及其变种可能采用众多不同的攻击机制来绕过一些防御措施,以实现同一攻击目的,但是由于攻击目的不变,这些攻击对系统的影响依然具有相似性,因此,所造成的系统影响并不会随攻击手段的大量增多而随之产生对应的增长.针对这一特点,提出了基于攻击指标依赖模型的攻击检测方法,以更有效地应对攻击变种.所提出的指标依赖模型着眼于漏洞利用后对系统的影响而非变化多样的攻击行为,因此具有更强的泛化能力.基于模型指导,进一步采用多层次监控技术,以迅速捕获定位攻击迹,最终实现对目标攻击与变种的精确检测,有效降低攻击检测的误报率.在DARPA透明计算项目以及典型APT攻击组成的测试集上,与现有的基于攻击事件分析的检测方法进行实验对比,结果表明:在预设场景下,所提出的方法可以根据可接受的性能损耗实现99.30%的检出率.

关键词：指标依赖模型攻击检测漏洞利用系统状态

来源：评论

学校读者我要写书评

暂无评论

基于超像素图像分割的暗通道先验去雾改进算法

引用

电子学报 2023年第1期51卷 146-159页

作者：金天虎陶砚蕴李佐勇苏州大学轨道交通学院南京大学计算机软件新技术国家重点实验室福建省信息处理与智能控制重点实验室(闽江学院)

本文针对暗通道先验去雾算法在天空等明亮区域存在明显的噪声放大和色彩失真的问题，从大气散射模型和暗通道先验理论出发修正大气光值和非暗通道区域透射率，提出了基于超像素图像分割的暗通道先验去雾改进算法.本文算法基于大气散射... 详细信息

本文针对暗通道先验去雾算法在天空等明亮区域存在明显的噪声放大和色彩失真的问题，从大气散射模型和暗通道先验理论出发修正大气光值和非暗通道区域透射率，提出了基于超像素图像分割的暗通道先验去雾改进算法.本文算法基于大气散射模型和暗通道先验理论建立雾天成像模型；通过超像素阈值分割算法将图像分为暗通道区域和非暗通道区域，暗通道区域（Dark Channel Region,DCR）即图像中符合暗通道先验理论的部分，非暗通道区域（Non-Dark Channel Region,NDCR）即图像中不符合暗通道先验理论的部分；再分别通过非暗通道区域和暗通道区域的超像素，估计全局大气光值，修正非暗通道区域透射率；最终根据大气散射模型恢复无雾图像.本文算法提高了全局大气光值的准确性，有效抑制了天空等非暗通道区域的失真，复原图像更加清晰自然，增强了视觉效果.主观和客观评价的实验表明，本文算法能够取得比传统算法更优的去雾效果.

关键词：图像去雾暗通道先验超像素图像分割全局大气光值和透射率修正暗通道区域

来源：评论

学校读者我要写书评

暂无评论

分布式梅特罗波利斯算法:收敛条件与最优并行加速

引用

中国科学：信息科学 2022年第2期52卷 287-313页

作者：凤维明尹一通南京大学计算机软件新技术国家重点实验室南京210023

梅特罗波利斯算法(Metropolis algorithm)是一种基本的马尔可夫链蒙特卡罗(Markov chain Monte Carlo,MCMC)采样技术,可用于从概率图模型所表示的高维概率分布(即吉布斯(Gibbs)分布)中进行随机采样.传统的梅特罗波利斯算法是一个串行算... 详细信息

梅特罗波利斯算法(Metropolis algorithm)是一种基本的马尔可夫链蒙特卡罗(Markov chain Monte Carlo,MCMC)采样技术,可用于从概率图模型所表示的高维概率分布(即吉布斯(Gibbs)分布)中进行随机采样.传统的梅特罗波利斯算法是一个串行算法.关于其快速收敛性的一个经典结论是:当满足梅特罗波利斯算法的Dobrushin-Shlosman条件时,该算法在O(n log n)步内快速收敛,其中n是随机变量的个数.本文研究了梅特罗波利斯算法的分布式版本——局部梅特罗波利斯算法.对该算法的正确性与收敛速度进行了分析,证明了该算法总是收敛于正确的吉布斯分布;并且对于一类自然的不包含三角形(triangle-free)概率图模型,如果满足相同的Dobrushin-Shlosman条件,则局部梅特罗波利斯算法在O(log n)轮内快速收敛.相比于传统的串行算法,实现了?(n)倍的渐进最优并行加速比.具体应用包括图染色、硬核模型和伊辛(Ising)模型的分布式采样算法.

关键词：分布式采样马尔可夫链蒙特卡洛混合时间自旋系统耦合

来源：评论

学校读者我要写书评

暂无评论

基于GUI事件的安卓应用录制重放关键技术综述

引用

软件学报 2022年第5期33卷 1612-1634页

作者：李聪蒋炎岩许畅计算机软件新技术国家重点实验室(南京大学) 江苏南京210023 南京大学计算机科学与技术系江苏南京210023

基于GUI事件的安卓应用录制重放技术致力于以自动化的方式捕捉和回放人类和移动应用的交互轨迹,达到降低测试成本、提高测试用例复用率的目的.录制重放技术面临的挑战来源于应用、版本和设备3个维度.试图从人类录制重放的角度,将录制重... 详细信息

基于GUI事件的安卓应用录制重放技术致力于以自动化的方式捕捉和回放人类和移动应用的交互轨迹,达到降低测试成本、提高测试用例复用率的目的.录制重放技术面临的挑战来源于应用、版本和设备3个维度.试图从人类录制重放的角度,将录制重放建模为一个搜索问题,并提出模拟人类录制重放行为的通用框架.框架包含3部分:组件表示与录制技术、事件等价策略和局部搜索策略.通过对已有技术进行总结和分析,以全新的视角更好地认识了已有工作的优势和不足,并提出未来可行的研究方向.

关键词：安卓应用软件测试录制重放 GUI测试

来源：评论

学校读者我要写书评

暂无评论

随机集成策略迁移

引用

计算机科学与探索 2022年第11期16卷 2531-2536页

作者：常田章宗长俞扬南京大学计算机软件新技术国家重点实验室南京210023

强化学习(RL)在序列决策问题上取得了巨大的成功。随着强化学习的飞速发展,迁移学习(TL)成为了一种重要的可以通过利用和转移外部知识来加速强化学习的技术。策略迁移是一种外部知识来自教师策略的迁移强化学习方法。现有的策略转移方... 详细信息

强化学习(RL)在序列决策问题上取得了巨大的成功。随着强化学习的飞速发展,迁移学习(TL)成为了一种重要的可以通过利用和转移外部知识来加速强化学习的技术。策略迁移是一种外部知识来自教师策略的迁移强化学习方法。现有的策略转移方法要么通过测量源任务与目标任务之间的相似性来转移知识,要么通过估计源策略在目标任务上的性能来选择最佳源策略。但是,性能估计有时可能不可靠,这可能会导致负迁移。针对这种问题,提出了一种新的策略转移方法,称为随机集成策略迁移(SEPT)。SEPT不是在源策略库中选择一个策略,而是利用源策略集成出教师策略来进行迁移。SEPT把策略迁移转变为选项学习问题以便获得终止概率,用终止概率计算出源策略的概率权重,根据概率权重从策略库中集成出教师策略。然后,通过策略蒸馏的方式从教师策略进行知识迁移。实验结果表明SEPT可以有效地加速强化学习训练,并且在离散和连续空间上都能胜过其他最佳的策略迁移方法。

关键词：迁移学习(TL) 强化学习(RL) 策略迁移选项学习集成策略蒸馏

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：