检索结果-内蒙古大学图书馆

计算机研究与发展 2025年第3期62卷 662-671页

作者：王苑铮孙文祥范意兴廖华明郭嘉丰中国科学院网络数据科学与技术重点实验室(中国科学院计算技术研究所) 北京100190 中国科学院大学北京100049

图文跨模态实体链接是对传统实体链接任务的扩展,其输入为包含实体的图像,目标是将其链接到文本模态的知识库实体上.现有模型通常采用双编码器架构,将图像、文本模态的实体分别编码为向量,利用点乘计算两者的相似度,从而链接到与图像实... 详细信息

图文跨模态实体链接是对传统实体链接任务的扩展,其输入为包含实体的图像,目标是将其链接到文本模态的知识库实体上.现有模型通常采用双编码器架构,将图像、文本模态的实体分别编码为向量,利用点乘计算两者的相似度,从而链接到与图像实体相似度最高的文本实体.其训练过程通常采用基于Info NCE损失的对比学习任务,即提高一个实体某模态与自身另一模态的向量相似度,降低与其他实体另一模态的向量相似度.然而此模型忽视了图文2个模态内部表示难度的差异:图像模态中的相似实体,通常比文本模态中的相似实体更难以区分,导致外观相似的图像实体很容易链接错误.因此,提出2个新的对比学习任务来提升向量的判别能力.一个是自对比学习,用于提升图像向量之间的区分度;另一个是难负例对比学习,让文本向量更容易区分几个相似的图像向量.在开源数据集Wiki Person上进行实验,在12万规模的实体库上,相比于采用Info NCE损失的最佳基线模型,模型正确率提升了4.5个百分点.

关键词：实体链接模型多模态跨模态对比学习视觉信息

来源：评论

学校读者我要写书评

暂无评论

面向文本摘要的反事实纠偏方法

引用

计算机学报 2023年第11期46卷 2400-2415页

作者：陈璐张儒清郭嘉丰范意兴中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190 中国科学院大学北京100190

文本摘要是自然语言处理领域中一项典型的文本到文本生成任务,旨在提取和概括一篇或多篇输入文档的关键信息,生成简洁、流畅又准确的摘要文本.自动文本摘要技术涉及自然语言理解和自然语言生成技术,并能应用于多种实际场景,包括文档索... 详细信息

文本摘要是自然语言处理领域中一项典型的文本到文本生成任务,旨在提取和概括一篇或多篇输入文档的关键信息,生成简洁、流畅又准确的摘要文本.自动文本摘要技术涉及自然语言理解和自然语言生成技术,并能应用于多种实际场景,包括文档索引、标题生成和内容创建,因此受到学术界和工业界的长期关注.近年来,基于神经网络的深度文本摘要模型得到广泛研究.结合先进的预训练技术,现有的深度文本摘要模型已经具备流畅的语言表达能力,能够生成较为通顺的摘要.然而,模型生成的摘要仍然存在表达不准确的问题,与原文存在信息偏差或包含原文以外的信息.该问题被称为“幻觉”问题,仍是一个巨大的挑战.针对这个问题,该文从因果的角度分析了基于预训练模型的深度文本摘要方法存在的偏差来源,并设计了去偏方法.因果理论为理解和建模复杂系统提供了一个强大的框架.在文本摘要系统中,因果推理可以帮助识别文档、摘要和语言先验之间的因果关系.理解这些变量之间的因果关系,有助于设计出针对系统中潜在偏差来源的去偏方法.具体来说,该文首先探究了文本摘要任务的因果结构,定义和分析了摘要任务的因果图.分析表明,摘要会受到预训练过程中习得的语言先验的影响.其中,语言先验包含的噪声会导致生成的摘要有偏.由于先前的摘要模型没有考虑或规避语言先验中潜在噪声的影响,导致模型生成的摘要中容易出现原文没有的信息.为此,该文根据因果理论提出了面向文本摘要的反事实纠偏方法.受到人类行为的启发,该文根据是否和原文交互,显式地区分语言先验中的有用知识和噪声,然后建模噪声对摘要的影响并从总体影响中去除.在XSUM和CNN/DailyMail数据集上的实验表明,该模型在Rouge-1、Rouge-2和Rouge-L指标上分别比基线方法BART提高0.75%、0.54%和0.46%以及1.29%、2.08%和1.20%,并且在人工评价中具备良好的流畅性和忠实性.本文提出的方法是一个通用的框架,适用于不同的深度文本摘要模型.通过利用因果理论,它对文本摘要领域以及其他文本生成任务有一定的启发,增加了该领域方法的可解释性.

关键词：深度文本摘要模型因果效应反事实推理幻觉去偏

来源：评论

学校读者我要写书评

暂无评论

稠密向量实体检索模型的二值化提速压缩

引用

模式识别与人工智能 2023年第1期36卷 60-69页

作者：王苑铮范意兴陈薇张儒清郭嘉丰中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190 中国科学院大学计算机科学与技术学院北京101408

在实体检索任务中,为了从大规模实体库中高效筛选与查询相关的候选实体,可使用稠密向量检索模型.然而在现有的稠密向量检索模型中,由于实体向量维度较高,导致实时计算效率较低、存储空间较大.文中通过实验发现这些实体向量存在大量的冗... 详细信息

在实体检索任务中,为了从大规模实体库中高效筛选与查询相关的候选实体,可使用稠密向量检索模型.然而在现有的稠密向量检索模型中,由于实体向量维度较高,导致实时计算效率较低、存储空间较大.文中通过实验发现这些实体向量存在大量的冗余信息:一方面,绝大多数实体向量分布在互不相同的象限里;另一方面,语义相近的实体所在的象限也更近.因此,文中提出二值化的实体检索方法,用于压缩实体向量,加速相似度计算.具体而言,方法利用符号函数(sign),二值化压缩高维稠密的浮点向量,并通过汉明距离加快检索.从理论上分析文中方法保证检索性能的原因.通过定性、定量的分析实验验证理论的正确性,并给出基于随机升维旋转的二值检索性能改善方法.

关键词：实体检索嵌入式表示稠密向量检索近似近邻检索乘积量化

来源：评论

学校读者我要写书评

暂无评论

面向多阶段匹配的答案选择模型

引用

计算机工程与应用 2023年第3期59卷 158-165页

作者：陈建贵张儒清郭嘉丰范意兴中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190 中国科学院大学北京100190

近年来,信息量成倍增长,获取有效信息的代价越来越高,答案选择技术能够为用户直接提供所需的信息,具有革命性的意义。给定问题和候选答案,答案选择任务要求从候选答案中找出与问题最相关的答案。不失一般性,候选答案根据与问题的匹配程... 详细信息

近年来,信息量成倍增长,获取有效信息的代价越来越高,答案选择技术能够为用户直接提供所需的信息,具有革命性的意义。给定问题和候选答案,答案选择任务要求从候选答案中找出与问题最相关的答案。不失一般性,候选答案根据与问题的匹配程度可以分为三种类型:不相关、相关不合理、相关且合理。然而,已有工作仅考虑问题与答案的相关性,这对于精准问答是远远不够的。为此,提出多阶段匹配模型(MSMM),模拟人的答题过程。具体的,MSMM模型分为两个阶段,第一阶段先将简单易解决的问答对分离出去,第二阶段再综合推理复杂的问答数据。每一阶段都由嵌入层、编码层、对齐层、融合层和池化层组成。此外,为了增强模型的推理能力,还引入语义角色标注信息和单词相似矩阵信息。为了便于评估,基于WikiQA和InsuranceQA数据集构造了两个答案合理性数据集。实验结果表明,对比基准方法,该模型在性能上取得一致的提升。

关键词：答案选择问答系统知识增强

来源：评论

学校读者我要写书评

暂无评论

基于多表达的第一阶段语义检索模型

引用

计算机工程与应用 2023年第4期59卷 139-146页

作者：蔡银琼范意兴郭嘉丰张儒清中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190 中国科学院大学北京100190

当前,信息检索系统通常采用“检索+重排序”的多级流水线架构。基于稠密表示的检索模型已经被逐渐应用到第一阶段检索中,并展现出了相比传统的稀疏向量空间模型更好的性能。考虑到第一阶段检索所需的高效性,大多数情况下这些模型的基本... 详细信息

当前,信息检索系统通常采用“检索+重排序”的多级流水线架构。基于稠密表示的检索模型已经被逐渐应用到第一阶段检索中,并展现出了相比传统的稀疏向量空间模型更好的性能。考虑到第一阶段检索所需的高效性,大多数情况下这些模型的基本架构都采用双编码器(bi-encoder)结构。对查询和文档进行独立的编码,分别得到一个稠密表示向量,然后基于获得的查询和文档表示使用简单的相似度函数计算查询-文档对的得分。然而,在编码文档的过程中查询是不可知的,而且文档相比查询而言通常包含更多的主题信息,因此这种简单的单表示模型可能会造成严重的文档信息丢失。为了解决这个问题,设计了一种新的语义检索方法MDR(multi-representation dense retrieval),将文档编码成多个稠密向量表示。同时,该方法引入覆盖率(coverage)机制来保证多个向量之间的差异性,从而能够覆盖文档中不同主题的信息。为了评估模型性能,在MS MARCO数据集上进行了段落排序和文档排序任务,实验结果证明了MDR方法的有效性。

关键词：语义检索双编码器模型信息检索

来源：评论

学校读者我要写书评

暂无评论

基于问题导向提示学习和多路推理的检索增强生成问答

引用

计算机工程与应用 2024年

作者：王昱婷陈波闫强范意兴余智华郭嘉丰计算技术研究所中国科学院网络数据科学与技术重点实验室中国科学院大学

当前大语言模型因其优越的性能，在各个领域都有着重要的应用。但大语言模型存在知识过时、知识不充分及生成结果错误等问题。检索增强生成通过给大语言模型输入精准及时的专业外部知识缓解了这些问题。然而，如何提高生成答案的准确性... 详细信息

当前大语言模型因其优越的性能，在各个领域都有着重要的应用。但大语言模型存在知识过时、知识不充分及生成结果错误等问题。检索增强生成通过给大语言模型输入精准及时的专业外部知识缓解了这些问题。然而，如何提高生成答案的准确性仍是值得关注的热点问题。文章设计问题导向提示，通过优化提示工程，有效激发了大语言模型对于不同类型问题的理解能力，并充分利用外部信息，提高检索增强生成在回答不同类型问题的问答任务的准确性。文章同时使用辅助多路推理优化提示与生成答案总结降低模型生成答案的幻觉。在英文检索增强生成基准数据集中的简单问题、比较问题、集合问题与多跳问题以及总体数据进行的实验结果表明，文章提出的方法能够取得比较好的实现效果。

关键词：检索增强生成提示学习大语言模型

来源：评论

学校读者我要写书评

暂无评论

因果机器学习的前沿进展综述

引用

计算机研究与发展 2023年第1期60卷 59-84页

作者：李家宁熊睿彬兰艳艳庞亮郭嘉丰程学旗中国科学院网络数据科学与技术重点实验室(中国科学院计算技术研究所) 北京100190 中国科学院大学北京100049 清华大学智能产业研究院北京100086 中国科学院计算技术研究所数据智能系统研究中心北京100190

机器学习是实现人工智能的重要技术手段之一,在计算机视觉、自然语言处理、搜索引擎与推荐系统等领域有着重要应用.现有的机器学习方法往往注重数据中的相关关系而忽视其中的因果关系,而随着应用需求的提高,其弊端也逐渐开始显现,在可... 详细信息

机器学习是实现人工智能的重要技术手段之一,在计算机视觉、自然语言处理、搜索引擎与推荐系统等领域有着重要应用.现有的机器学习方法往往注重数据中的相关关系而忽视其中的因果关系,而随着应用需求的提高,其弊端也逐渐开始显现,在可解释性、可迁移性、鲁棒性和公平性等方面面临一系列亟待解决的问题.为了解决这些问题,研究者们开始重新审视因果关系建模的必要性,相关方法也成为近期的研究热点之一.在此对近年来在机器学习领域中应用因果技术和思想解决实际问题的工作进行整理和总结,梳理出这一新兴研究方向的发展脉络.首先对与机器学习紧密相关的因果理论做简要介绍;然后以机器学习中的不同问题需求为划分依据对各工作进行分类介绍,从求解思路和技术手段的视角阐释其区别与联系;最后对因果机器学习的现状进行总结,并对未来发展趋势做出预测和展望.

关键词：因果关系伪相关关系因果推断机器学习深度学习人工智能

来源：评论

学校读者我要写书评

暂无评论

基于自适应低秩表示的多任务AUC优化算法

引用

计算机学报 2024年第11期47卷 2678-2690页

作者：孙宇辰许倩倩王子泰杨智勇黄庆明中国科学院计算技术研究所智能信息处理重点实验室北京100190 中国科学院大学计算机科学与技术学院北京101408 中国科学院信息工程研究所信息安全国家重点实验室北京100093 中国科学院大学网络空间安全学院北京100049 中国科学院大学大数据挖掘与知识管理重点实验室北京101408 鹏城实验室广东深圳518055

多任务学习是一种基于相似任务之间的关联性进行学习迁移,使得模型在数据不足场景下仍能表现出良好泛化性能的学习方法.在该领域内,大多数现有以准确率作为基准评价标准的方法只适用于平衡分布场景.然而,诸多实际应用如疾病检测、垃圾... 详细信息

多任务学习是一种基于相似任务之间的关联性进行学习迁移,使得模型在数据不足场景下仍能表现出良好泛化性能的学习方法.在该领域内,大多数现有以准确率作为基准评价标准的方法只适用于平衡分布场景.然而,诸多实际应用如疾病检测、垃圾邮件检测等,均涉及样本分布不平衡问题.针对多任务学习面向任务相关性的高要求,即当模型学习和共享不相关知识时,负迁移可能会影响模型朝着错误方向训练.因此,大多数现有方法在此类场景中无法得到有效应用.为解决该实际问题,设计一种能适用于样本不平衡场景的多任务学习算法变得尤为重要.本文提出了一种基于自适应低秩表示的多任务AUC优化算法,首先引入了对标签分布不敏感的ROC曲线下面积(AUC)作为该学习任务的评价指标,并建立了一种用于AUC优化的多任务学习算法,以提高模型在样本不平衡场景下的性能表现.同时,为进一步有效优化模型,本文将原始成对优化问题重构为逐样本极大极小优化问题,使得每一轮迭代复杂度由O(Ln_(i,+)n_(i,-))降低至O(L(n_(i,+)+n_(i,-))).针对多任务学习中存在的负迁移现象,本文引入了一种自适应低秩正则项,以消除模型冗余信息,同时提高模型的泛化性能.最后,通过与多个对比方法在四个仿真数据集和三个真实数据集Landmine、MHC-I和USPS上的比较,所有实验结果一致证明了本文所提出算法的有效性.

关键词：多任务学习 AUC优化低秩表示

来源：评论

学校读者我要写书评

暂无评论

时态知识图谱的推理研究综述

引用

计算机学报 2023年第6期46卷 1272-1301页

作者：沈英汉江旭晖王元卓李紫宣李子健谭鹤翔沈华伟中国科学院计算技术研究所数据智能系统研究中心北京100190 中国科学院大学北京100049 中科大数据研究院郑州450018 中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190

随着社交网络、物端感知等技术快速发展,网络空间中涌现了大量的交互、话题、事件、新闻等数据,蕴含大量动态演化、强时效性的知识.较于忽略知识中时间信息的传统知识图谱,时态知识图谱通过建模知识的时效性以描述动态变化的现实世界,... 详细信息

随着社交网络、物端感知等技术快速发展,网络空间中涌现了大量的交互、话题、事件、新闻等数据,蕴含大量动态演化、强时效性的知识.较于忽略知识中时间信息的传统知识图谱,时态知识图谱通过建模知识的时效性以描述动态变化的现实世界,为时间紧耦合的应用提供有效支持.然而,时态知识图谱无法确保涵盖全量知识,知识的缺失严重影响应用性能,需要推理模型自动挖掘新的知识,以解释事物的历史状态,预测未来发展趋势并描述演化规律.由于实际应用的迫切需要,近年来,时态知识图谱的推理研究工作层出不穷,逐渐引起学术界和工业界的广泛关注.本文对近年来时态知识图谱的推理工作进行全面介绍和总结.首先,介绍了时态知识图谱的推理相关概念与问题描述;其次,介绍了面向补全任务的推理模型与面向预测任务的推理模型,对其进行比较分析;之后总结了时态知识图谱推理的数据集、推理任务、相关指标以及应用场景;最后展望时态知识图谱推理的未来研究趋势.综上,本文致力于为时态知识图谱的推理领域研究人员提供具有价值的参考,以推动该领域进一步发展.

关键词：时态知识图谱时态知识推理知识补全知识预测知识图谱

来源：评论

学校读者我要写书评

暂无评论

基于多历史序列联合演化建模的两阶段时序知识图谱推理

引用

中文信息学报 2024年第2期38卷 46-53页

作者：李紫宣官赛萍靳小龙白龙郭嘉丰程学旗中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190 中国科学院大学计算机科学与技术学院北京100049

近年来,随着互联网技术和应用模式的迅猛发展,互联网数据规模爆炸式增长,其中包含大量带有时序信息的动态事件知识。为了建模这类动态事件知识,时序知识图谱在传统知识图谱的基础上引入时间信息,以带时间戳的知识图谱序列刻画这类知识... 详细信息

近年来,随着互联网技术和应用模式的迅猛发展,互联网数据规模爆炸式增长,其中包含大量带有时序信息的动态事件知识。为了建模这类动态事件知识,时序知识图谱在传统知识图谱的基础上引入时间信息,以带时间戳的知识图谱序列刻画这类知识。时序知识图谱推理任务旨在根据过去发生的事件四元组(主语实体,关系(事件类型),宾语实体,时间戳)预测未来发生的事件。为此,模型需要充分建模实体的历史演化过程。然而,巨大的实体数目以及它们对应的大量历史事件给时序知识图谱推理任务带来了巨大挑战。为了降低待建模历史的规模,已有方法选择建模查询实体的长程历史或者全部实体的短程历史,都丢失了一部分历史信息。实际上,由于不同实体对于一个查询的相关程度不同,模型需要更充分地建模相关实体的历史信息。基于此,该文提出了基于多历史序列联合演化建模的两阶段时序推理模型MENet(Multi-sequence Evolution Network)。具体而言,其在第一阶段采用了一种基于启发式规则的候选实体筛选策略,选择最有可能发生事件的候选实体,从而有效地降低了需要建模的实体数目;在第二阶段,其采用了一个多历史序列联合演化模型:首先通过组合多个实体各自的长程历史信息,得到需要建模的图序列,进而通过考虑该图序列上同时刻发生事件之间的结构依赖、事件发生的时间数值信息以及不同时刻之间的时序依赖,从而更精准地建模实体演化过程。在三个标准数据集上的实验结果表明,上述模型相比于当前最先进的方法模型具有更好的推理性能。

关键词：时序推理知识图谱

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：