检索结果-内蒙古大学图书馆

计算机学报 2024年第11期47卷 2678-2690页

作者：孙宇辰许倩倩王子泰杨智勇黄庆明中国科学院计算技术研究所智能信息处理重点实验室北京100190 中国科学院大学计算机科学与技术学院北京101408 中国科学院信息工程研究所信息安全国家重点实验室北京100093 中国科学院大学网络空间安全学院北京100049 中国科学院大学大数据挖掘与知识管理重点实验室北京101408 鹏城实验室广东深圳518055

多任务学习是一种基于相似任务之间的关联性进行学习迁移,使得模型在数据不足场景下仍能表现出良好泛化性能的学习方法.在该领域内,大多数现有以准确率作为基准评价标准的方法只适用于平衡分布场景.然而,诸多实际应用如疾病检测、垃圾... 详细信息

多任务学习是一种基于相似任务之间的关联性进行学习迁移,使得模型在数据不足场景下仍能表现出良好泛化性能的学习方法.在该领域内,大多数现有以准确率作为基准评价标准的方法只适用于平衡分布场景.然而,诸多实际应用如疾病检测、垃圾邮件检测等,均涉及样本分布不平衡问题.针对多任务学习面向任务相关性的高要求,即当模型学习和共享不相关知识时,负迁移可能会影响模型朝着错误方向训练.因此,大多数现有方法在此类场景中无法得到有效应用.为解决该实际问题,设计一种能适用于样本不平衡场景的多任务学习算法变得尤为重要.本文提出了一种基于自适应低秩表示的多任务AUC优化算法,首先引入了对标签分布不敏感的ROC曲线下面积(AUC)作为该学习任务的评价指标,并建立了一种用于AUC优化的多任务学习算法,以提高模型在样本不平衡场景下的性能表现.同时,为进一步有效优化模型,本文将原始成对优化问题重构为逐样本极大极小优化问题,使得每一轮迭代复杂度由O(Ln_(i,+)n_(i,-))降低至O(L(n_(i,+)+n_(i,-))).针对多任务学习中存在的负迁移现象,本文引入了一种自适应低秩正则项,以消除模型冗余信息,同时提高模型的泛化性能.最后,通过与多个对比方法在四个仿真数据集和三个真实数据集Landmine、MHC-I和USPS上的比较,所有实验结果一致证明了本文所提出算法的有效性.

关键词：多任务学习 AUC优化低秩表示

来源：评论

学校读者我要写书评

暂无评论

关于短文本匹配的泛化性和迁移性的研究分析

引用

计算机研究与发展 2022年第1期59卷 118-126页

作者：马新宇范意兴郭嘉丰张儒清苏立新程学旗中国科学院网络数据科学与技术重点实验室(中国科学院计算技术研究所) 北京100190 中国科学院大学北京100049

自然语言理解中的许多任务,比如自然语言推断任务、机器问答和复述问题,都可以看作是短文本匹配问题.近年来,大量的数据集和深度学习模型的涌现使得短文本匹配任务取得了长足的进步,然而,很少有工作去分析模型在不同数据集之间的泛化能... 详细信息

自然语言理解中的许多任务,比如自然语言推断任务、机器问答和复述问题,都可以看作是短文本匹配问题.近年来,大量的数据集和深度学习模型的涌现使得短文本匹配任务取得了长足的进步,然而,很少有工作去分析模型在不同数据集之间的泛化能力,以及如何在新领域中有效地利用现有不同领域中的大量带标注的数据,达到减少新领域的数据标注量和提升性能的目标.为此,重点分析了不同数据集之间的泛化性和迁移性,并且通过可视化的方式展示了影响数据集之间泛化性的因素.具体地,使用深度学习模型ESIM(enhanced sequential inference model)和预训练语言模型BERT(bidirectional encoder representations from transformers)在10个通用的短文本匹配数据集上进行了详尽的实验.通过实验,发现即使是在大规模语料预训练过的BERT,合适的迁移仍能带来性能提升.基于以上的分析,也发现通过在混合数据集预训练过的模型,在新的领域和少量样本情况下,具有较好的泛化能力和迁移能力.

关键词：短文本匹配泛化性迁移性少样本预训练语言模型

来源：评论

学校读者我要写书评

暂无评论

图分类研究综述

引用

软件学报 2022年第1期33卷 171-192页

作者：王兆慧沈华伟曹婍程学旗中国科学院计算技术研究所数据智能系统研究中心北京100190 中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190 中国科学院大学北京100049

图数据广泛存在于现实世界中,可以自然地表示复合对象及其元素之间的复杂关联.对图数据的分类是一个非常重要且极具挑战的问题,在生物/化学信息学等领域有许多关键应用,如分子属性判断,新药发现等.但目前尚缺乏对于图分类研究的完整综述... 详细信息

图数据广泛存在于现实世界中,可以自然地表示复合对象及其元素之间的复杂关联.对图数据的分类是一个非常重要且极具挑战的问题,在生物/化学信息学等领域有许多关键应用,如分子属性判断,新药发现等.但目前尚缺乏对于图分类研究的完整综述.首先给出图分类问题的定义和该领域的挑战;然后梳理分析了两类图分类方法—基于图相似度计算的图分类方法和基于图神经网络的图分类方法;接着给出了图分类方法的评价指标、常用数据集和实验结果对比;最后介绍了图分类常见的实际应用场景,展望了图分类领域的未来研究方向并对全文进行总结.

关键词：图分类图核图卷积图池化图神经网络

来源：评论

学校读者我要写书评

暂无评论

属性网络中基于变分图自编码器的异常节点检测方法

引用

模式识别与人工智能 2022年第1期35卷 17-25页

作者：李忠靳小龙王亚杰孟令宾庄传志孙智中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190 中国科学院大学计算机与控制学院北京100049

图神经网络为属性网络数据挖掘提供融合利用结构信息和属性信息的方法,但是在现阶段基于图自动编码器进行无监督属性网络异常节点检测时,常将正常节点子属性插值形成的节点误识别为异常节点,导致方法的假负率较高.针对上述问题,文中提... 详细信息

图神经网络为属性网络数据挖掘提供融合利用结构信息和属性信息的方法,但是在现阶段基于图自动编码器进行无监督属性网络异常节点检测时,常将正常节点子属性插值形成的节点误识别为异常节点,导致方法的假负率较高.针对上述问题,文中提出基于变分图自编码器的异常节点检测方法.模型包含两个编码器和一个解码器,利用一个编码器和一个解码器构成的变分自编码器模型,重建原始输入数据,再利用解码器和第二个编码器,使模型学习到不包含异常节点数据的网络隐层表达.通过双变分自编码器学习正常节点子特征,并利用重建误差作为节点的异常度量,将由正常节点子特征构成的正常节点判别为正常节点.在真实网络数据集上的实验表明,文中方法能有效进行属性网络异常节点检测.

关键词：异常节点检测属性网络变分自编码器重建误差无监督异常检测方法

来源：评论

学校读者我要写书评

暂无评论

基于梯度的对抗排序攻击方法

引用

模式识别与人工智能 2022年第3期35卷 254-261页

作者：吴晨张儒清郭嘉丰范意兴中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190 中国科学院大学计算机与控制学院北京100190

互联网检索中普遍存在排名竞争这种对抗攻击行为,会产生许多不良影响,因此对攻击方法的研究有助于设计更鲁棒的排序模型.已有的攻击方法容易被人识别且无法有效攻击神经排序模型.因此,文中提出基于梯度的对抗排序攻击方法.方法分为3个模... 详细信息

互联网检索中普遍存在排名竞争这种对抗攻击行为,会产生许多不良影响,因此对攻击方法的研究有助于设计更鲁棒的排序模型.已有的攻击方法容易被人识别且无法有效攻击神经排序模型.因此,文中提出基于梯度的对抗排序攻击方法.方法分为3个模块:基于梯度大小的词重要度排序、基于梯度的排序攻击和基于词嵌入的同义词替换.针对给定的目标排序模型,首先基于构建的排序攻击目标进行梯度回传,利用梯度信息在指定文档上找到最重要的词.然后,基于投影梯度攻击原理,在词向量空间上对这些最重要的词进行扰动.最后,利用同义词替换技术将这些最重要的词替换为和原词语义相近且和扰动后的词向量最近邻的词,完成文档扰动.在MQ2007、MS MARCO数据集上的实验验证文中方法的有效性.

关键词：排名竞争对抗攻击梯度攻击神经排序模型网页检索

来源：评论

学校读者我要写书评

暂无评论

基于多历史序列联合演化建模的两阶段时序知识图谱推理

引用

中文信息学报 2024年第2期38卷 46-53页

作者：李紫宣官赛萍靳小龙白龙郭嘉丰程学旗中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190 中国科学院大学计算机科学与技术学院北京100049

近年来,随着互联网技术和应用模式的迅猛发展,互联网数据规模爆炸式增长,其中包含大量带有时序信息的动态事件知识。为了建模这类动态事件知识,时序知识图谱在传统知识图谱的基础上引入时间信息,以带时间戳的知识图谱序列刻画这类知识... 详细信息

近年来,随着互联网技术和应用模式的迅猛发展,互联网数据规模爆炸式增长,其中包含大量带有时序信息的动态事件知识。为了建模这类动态事件知识,时序知识图谱在传统知识图谱的基础上引入时间信息,以带时间戳的知识图谱序列刻画这类知识。时序知识图谱推理任务旨在根据过去发生的事件四元组(主语实体,关系(事件类型),宾语实体,时间戳)预测未来发生的事件。为此,模型需要充分建模实体的历史演化过程。然而,巨大的实体数目以及它们对应的大量历史事件给时序知识图谱推理任务带来了巨大挑战。为了降低待建模历史的规模,已有方法选择建模查询实体的长程历史或者全部实体的短程历史,都丢失了一部分历史信息。实际上,由于不同实体对于一个查询的相关程度不同,模型需要更充分地建模相关实体的历史信息。基于此,该文提出了基于多历史序列联合演化建模的两阶段时序推理模型MENet(Multi-sequence Evolution Network)。具体而言,其在第一阶段采用了一种基于启发式规则的候选实体筛选策略,选择最有可能发生事件的候选实体,从而有效地降低了需要建模的实体数目;在第二阶段,其采用了一个多历史序列联合演化模型:首先通过组合多个实体各自的长程历史信息,得到需要建模的图序列,进而通过考虑该图序列上同时刻发生事件之间的结构依赖、事件发生的时间数值信息以及不同时刻之间的时序依赖,从而更精准地建模实体演化过程。在三个标准数据集上的实验结果表明,上述模型相比于当前最先进的方法模型具有更好的推理性能。

关键词：时序推理知识图谱

来源：评论

学校读者我要写书评

暂无评论

基于反事实推理的事实验证去偏方法

引用

中文信息学报 2023年第10期37卷 97-105页

作者：陈建贵张儒清郭嘉丰范意兴中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190 中国科学院大学北京100190

事实验证是一项具有挑战性的任务,旨在使用来自可信赖语料库的多个证据句子来验证声明。为了促进研究,一些事实验证数据集被提出,极大地加速了事实验证技术的发展。然而,现有的事实验证数据集通常采用众包的方法构造,无可避免地引入偏... 详细信息

事实验证是一项具有挑战性的任务,旨在使用来自可信赖语料库的多个证据句子来验证声明。为了促进研究,一些事实验证数据集被提出,极大地加速了事实验证技术的发展。然而,现有的事实验证数据集通常采用众包的方法构造,无可避免地引入偏差。已有事实验证去偏工作大致可以分为基于数据增强的方法和基于权重正则化的方法,前者不灵活,后者依赖于训练阶段的不确定输出。与已有工作不同,该文从因果关系出发,提出基于反事实推理的事实验证去偏方法。该文首先设计事实验证中的因果图,建模声明、证据以及它们之间的交互和预测结果的因果关系。接着,根据因果图提出事实验证去偏方法,通过总间接效应去除声明带来的偏差影响。我们使用多任务学习的方式来训练模型。训练时,该文采用多任务学习的方式建模各个因素的影响,同时在有偏和无偏测试集上评估模型的性能。实验结果表明,对比基准方法,该文模型在性能上获得了一致的提升。

关键词：事实验证反事实推理去偏模型

来源：评论

学校读者我要写书评

暂无评论

图对比学习综述

引用

中文信息学报 2023年第5期37卷 1-21页

作者：岑科廷沈华伟曹婍程学旗中国科学院计算技术研究所数据智能系统研究中心北京100190 中国科学院大学北京101408 中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190

对比学习作为一种自监督式的深度学习范式,在计算机视觉、自然语言处理等领域取得了瞩目的成绩。受这些成功的对比学习模型的启发,近年来大量研究者尝试将其拓展到图数据上,这为推动图对比学习的发展提供了坚实的基础。该领域现有的综... 详细信息

对比学习作为一种自监督式的深度学习范式,在计算机视觉、自然语言处理等领域取得了瞩目的成绩。受这些成功的对比学习模型的启发,近年来大量研究者尝试将其拓展到图数据上,这为推动图对比学习的发展提供了坚实的基础。该领域现有的综述主要关注于传统的图自监督学习任务,而缺少对图对比学习方法的梳理和归纳。为了更好地帮助相关领域的研究者,该文梳理了近些年来的图对比学习模型,通过将现有工作归纳到一个统一的框架下,突出其发展脉络。最后该文总结了图对比学习常用的数据集和评价指标,并展望了该领域未来的发展方向。

关键词：自监督学习图对比学习图表示学习预训练

来源：评论

学校读者我要写书评

暂无评论

基于相关修正的无偏排序学习方法

引用

计算机研究与发展 2022年第12期59卷 2867-2877页

作者：王奕婷兰艳艳庞亮郭嘉丰程学旗中国科学院网络数据科学与技术重点实验室(中国科学院计算技术研究所) 北京100190 中国科学院大学北京100049 清华大学智能产业研究院北京100084 中国科学院计算技术研究所数据智能系统研究中心北京100190

用户点击数据较文档的相关标签更易被获取且能反映用户兴趣,将其作为标签能够有效降低人工标注成本并且模型能随数据实时更新.但用户点击含有偏差和噪声,因此需设计有效的无偏排序方法.针对无偏排序中对偶学习方法收敛得到次优解从而无... 详细信息

用户点击数据较文档的相关标签更易被获取且能反映用户兴趣,将其作为标签能够有效降低人工标注成本并且模型能随数据实时更新.但用户点击含有偏差和噪声,因此需设计有效的无偏排序方法.针对无偏排序中对偶学习方法收敛得到次优解从而无法完全消除偏差的问题,提出一种基于相关修正的无偏排序学习方法.首先,利用现有小规模相关标注数据训练排序模型,对候选文档进行较精准的相关得分预测;再基于用户点击和文档相关得分训练点击倾向模型;最后,将得到的模型参数设为对偶去偏初始值并联合训练.该方法不影响模型上线的计算速度,可用于在线学习场景,模拟不同程度偏差噪声并在真实点击场景下进行测试,结果表明该方案能够有效提升现有无偏排序学习方法表现.

关键词：无偏排序学习点击数据相关修正偏差去除逆倾向加权

来源：评论

学校读者我要写书评

暂无评论

基于提示学习的文本隐式情感分类

引用

山西大学学报(自然科学版) 2023年第3期46卷 509-517页

作者：王昱婷刘一伊张儒清范意兴郭嘉丰中国科学院网络数据科学与技术重点实验室中国科学院计算技术研究所中国科学院大学

随着监管不断加强，人们表达方式逐渐由直白向隐晦演进，情感分析任务变得更为困难。针对用于情感分析的预训练语言模型和微调阶段模型在处理包含隐式情感文本时遇到的巨大困难，本文提出了一种基于提示学习模型（一种弥合了预训练模型... 详细信息

随着监管不断加强，人们表达方式逐渐由直白向隐晦演进，情感分析任务变得更为困难。针对用于情感分析的预训练语言模型和微调阶段模型在处理包含隐式情感文本时遇到的巨大困难，本文提出了一种基于提示学习模型（一种弥合了预训练模型和微调阶段模型的模型）和类别差异化损失的方法ImplicitPrompt，将隐式的情感显式化，区分不同情感标签的距离，提升隐式情感分类的准确率。在英文方面级情感分类标准数据集上进行实验的结果表明，本文模型在标准监督设置下和低资源设置下均能在文本隐式情感分类中取得最佳效果。

关键词：提示学习隐式情感类别差异化损失

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：