检索结果-内蒙古大学图书馆

作者：胡澔华中师范大学

学位级别：硕士

伴随着大数据时代的兴起,数据已成为驱动经济发展的新能源。如何从海量的数据中准确地检索到用户需求的数据,并从中挖掘出有价值的信息,已成为当下信息检索领域的研究热点。目前,自然语言处理领域广泛使用词向量作为神经网络模型的输入... 详细信息

伴随着大数据时代的兴起,数据已成为驱动经济发展的新能源。如何从海量的数据中准确地检索到用户需求的数据,并从中挖掘出有价值的信息,已成为当下信息检索领域的研究热点。目前,自然语言处理领域广泛使用词向量作为神经网络模型的输入。实验证明:相对于词袋模型,使用词向量能显著提升模型性能。但是传统词向量无法有效地对上下文进行建模,难以解决词的歧义性问题。2018年谷歌发布预训练语言模型BERT,通过编码上下文语义来消除词的歧义性。因为BERT在众多自然语言处理任务中的优异表现,所以本文我们将对如何利用BERT改进信息检索模型展开系统性研究,主要工作包括以下两个方面:第一,运用BERT构建基于表示学习的神经排序模型。我们首先利用BERT分别编码查询和文档的上下文相关的词向量表示,然后将其输入由Transformer构建的神经排序模型并得到文档和查询的相关性得分。我们将该模型称作为基于注意力机制编码的神经排序模型ATER。我们在经典的信息检索数据集Robust04和MQ2007上进行了实验。实验结果证明:基于BERT词向量的神经排序模型在P@20和NDCG@20两个评价指标上的表现均优于传统信息检索模型,进一步证明了基于上下文相关词向量的模型能构建更加精确的文档语义表示。第二,运用BERT构建基于交互学习的神经排序模型。借鉴Yang W等人[1]的思路:我们首先利用BERT捕获查询和文档段落间的匹配模式,然后输入一个线性分类层得到文档和查询的相关性得分。我们在Robust04和MQ2007数据集上进行了大量实验。实验结果证明:相对于传统检索模型BM25和基于表示学习的神经排序模型ATER,基于微调的BERT神经排序模型检索性能更为优秀,进一步验证了基于交互学习的神经排序模型能更加准确地捕获查询和文档间的匹配模式。

关键词： BERT 信息检索神经排序模型

来源：评论

学校读者我要写书评

暂无评论

基于BERT的神经排序模型研究

基于BERT的神经排序模型研究

引用

作者：胡? 华中师范大学

学位级别：硕士

伴随着大数据时代的兴起，数据已成为驱动经济发展的新能源。如何从海量的数据中准确地检索到用户需求的数据，并从中挖掘出有价值的信息，已成为当下信息检索领域的研究热点。　　目前，自然语言处理领域广泛使用词向量作为神经网络模... 详细信息

伴随着大数据时代的兴起，数据已成为驱动经济发展的新能源。如何从海量的数据中准确地检索到用户需求的数据，并从中挖掘出有价值的信息，已成为当下信息检索领域的研究热点。　　目前，自然语言处理领域广泛使用词向量作为神经网络模型的输入。实验证明:相对于词袋模型，使用词向量能显著提升模型性能。但是传统词向量无法有效地对上下文进行建模，难以解决词的歧义性问题。2018年谷歌发布预训练语言模型BERT，通过编码上下文语义来消除词的歧义性。因为BERT在众多自然语言处理任务中的优异表现，所以本文我们将对如何利用BERT改进信息检索模型展开系统性研究，主要工作包括以下两个方面:　　第一，运用BERT构建基于表示学习的神经排序模型。我们首先利用BERT分别编码查询和文档的上下文相关的词向量表示，然后将其输入由Transformer构建的神经排序模型并得到文档和查询的相关性得分。我们将该模型称作为基于注意力机制编码的神经排序模型ATER。我们在经典的信息检索数据集Robust04和MQ2007上进行了实验。实验结果证明:基于BERT词向量的神经排序模型在P@20和NDCG@20两个评价指标上的表现均优于传统信息检索模型，进一步证明了基于上下文相关词向量的模型能构建更加精确的文档语义表示。　　第二，运用BERT构建基于交互学习的神经排序模型。借鉴Yang W等人的思路:我们首先利用BERT捕获查询和文档段落间的匹配模式，然后输入一个线性分类层得到文档和查询的相关性得分。我们在Robust04和MQ2007数据集上进行了大量实验。实验结果证明:相对于传统检索模型BM25和基于表示学习的神经排序模型ATER，基于微调的BERT神经排序模型检索性能更为优秀，进一步验证了基于交互学习的神经排序模型能更加准确地捕获查询和文档间的匹配模式。

关键词：自然语言处理神经排序模型预训练语言模型信息检索

来源：评论

学校读者我要写书评

暂无评论

基于梯度的对抗排序攻击方法

引用

模式识别与人工智能 2022年第3期35卷 254-261页

作者：吴晨张儒清郭嘉丰范意兴中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190 中国科学院大学计算机与控制学院北京100190

互联网检索中普遍存在排名竞争这种对抗攻击行为,会产生许多不良影响,因此对攻击方法的研究有助于设计更鲁棒的排序模型.已有的攻击方法容易被人识别且无法有效攻击神经排序模型.因此,文中提出基于梯度的对抗排序攻击方法.方法分为3个模... 详细信息

互联网检索中普遍存在排名竞争这种对抗攻击行为,会产生许多不良影响,因此对攻击方法的研究有助于设计更鲁棒的排序模型.已有的攻击方法容易被人识别且无法有效攻击神经排序模型.因此,文中提出基于梯度的对抗排序攻击方法.方法分为3个模块:基于梯度大小的词重要度排序、基于梯度的排序攻击和基于词嵌入的同义词替换.针对给定的目标排序模型,首先基于构建的排序攻击目标进行梯度回传,利用梯度信息在指定文档上找到最重要的词.然后,基于投影梯度攻击原理,在词向量空间上对这些最重要的词进行扰动.最后,利用同义词替换技术将这些最重要的词替换为和原词语义相近且和扰动后的词向量最近邻的词,完成文档扰动.在MQ2007、MS MARCO数据集上的实验验证文中方法的有效性.

关键词：排名竞争对抗攻击梯度攻击神经排序模型网页检索

来源：评论

学校读者我要写书评

暂无评论

面向审判卷宗阅卷的关键技术研究与实现

面向审判卷宗阅卷的关键技术研究与实现

引用

作者：费志伟中国电子科技集团公司电子科学研究院

学位级别：硕士

近年来人工智能和大数据技术取得了快速的发展,并极大的改善了人们的日常生活。在法院中,律师审理案件大部分仍通过人工阅读卷宗的方式,费时费力,如何利用大数据和人工智能技术提高办案人员阅卷的效率是亟需解决的问题。当前法院智能审... 详细信息

近年来人工智能和大数据技术取得了快速的发展,并极大的改善了人们的日常生活。在法院中,律师审理案件大部分仍通过人工阅读卷宗的方式,费时费力,如何利用大数据和人工智能技术提高办案人员阅卷的效率是亟需解决的问题。当前法院智能审判助理主要基于电子卷宗感知开展审判辅助工作,如通过对电子卷宗的识别实现数据填写,减轻法官事务性工作,但是对于电子卷宗的认知和理解还比较欠缺,无法切实提升法官工作效率。因此,研究电子卷宗自动阅卷技术,实现阅卷辅助系统从智能感知案件信息到智能认知案件内容,自动梳理案件的脉络以及案件审理中的疑难点,提高阅卷辅助系统的信息获取能力有着重大的意义。本文以电子卷宗自动阅卷为应用背景,围绕着案件画像构建、疑难案件法律问题认知和案情事实矛盾性检测展开研究,研究工作包含以下三个方面:一、基于信息抽取技术的案件画像构建方法。案件画像能够从不同维度展现案件中法官审判阅卷中最关注的案件要素。本文梳理了法官阅卷时关注的案件信息,构建了案件画像内容,设计了基于预训练语言模型和对抗训练的信息抽取模型,提高了现有抽取方法的准确率。二、基于神经排序模型的法律问题识别方法。针对审理中遇到的疑难案件审理困难,本文提出了一种法律裁判要旨推荐方法。它能够弥补现有的案件推荐系统只关注案件事实中的法律要素不能有效的识别案件中法律问题、庭审要点这一问题。本文分析了推荐裁判要旨的难点,设计了基于两阶段的推荐流程,和基于神经网络的推荐模型。通过对查询的案件推荐裁判要旨的方式辅助法官认识案件中的法律问题,并辅助审理疑难案件。三、融合多粒度句子交互的证据矛盾性检测方法。法官在审理案件时,需要将卷宗中有矛盾的部分梳理出来,在庭审时着重对此部分提问。本文提出了一种融合多粒度句子交互的证据矛盾性检测模型,依据案件相关人员对案情的供述,自动识别供述中矛盾的案件内容,帮助法官更加便捷的认定事实。基于以上研究,本文设计并实现了智能案件阅卷系统,并对其进行测试,测试结果表明该系统能够构建层次化的清晰的案件画像,识别案件的法律问题、庭审要点,实现案件卷宗的智能认知。有效的辅助法官阅卷,节省审理时间,提高审理效率。

关键词：案件画像命名实体识别对抗训练神经排序模型裁判要旨

来源：评论

学校读者我要写书评

暂无评论

基于BERT上下文感知的多层级信息检索方法

基于BERT上下文感知的多层级信息检索方法

引用

作者：罗雅兰汕头大学

学位级别：硕士

随着数据生产方式的变革,新闻推荐平台、电子商务平台、办公自动化系统等每时每刻都在产生大量的数据,如何从海量的数据中快速筛选出和用户信息需求匹配的内容,已经成为信息检索领域当下的研究热点。目前,基于预训练的语言模型已被广泛... 详细信息

随着数据生产方式的变革,新闻推荐平台、电子商务平台、办公自动化系统等每时每刻都在产生大量的数据,如何从海量的数据中快速筛选出和用户信息需求匹配的内容,已经成为信息检索领域当下的研究热点。目前,基于预训练的语言模型已被广泛应用于信息检索任务。BERT模型由于可以通过在大规模语料库中进行训练得到词通用的嵌入表示,相比于传统的词袋模型可以提供更加丰富的信息,已成为信息检索任务中的基本构建块。然而,将BERT应用于查询和长文档的匹配任务时存在以下限制:1)已有的相关性匹配模型往往是处理文档级别的相关性匹配任务,但文档的长度会超出BERT对于输入长度的限制;2)将BERT应用于长文档时,由于要计算每一对词项之间的交互,因此会导致内存使用和运行时间的巨大开销。针对BERT应用于长文档时面临的限制,本文提出了一种基于BERT的多层级上下文段落结构检索方法。本文的主要研究工作包括以下两个方面:第一,段落级别文本摘要提取。采用基于TF-IDF的权重机制的最大边际相关性(MMR)算法抽取段落级别文本摘要,一方面保证了提取出的句子与段落主题具有高度相关性,另一方面消除了句子的冗余增加了结果的多样性。第二,基于BERT的多层级上下文段落信息检索。利用第一阶段提取出的段落级别摘要作为局部上下文段落线索,并与文档标题和段落原文一起组织成多层级上下文段落结构。采用BERT模型对查询和多层级段落进行向量表示,并将基于BERT的句子对分类模型作为查询和文档相关性匹配任务的基本模型。本文在两个标准的文本检索数据集Robust04和Clue Web09上,分别基于两种不同的查询特征进行了实验,实验结果显示:本文模型效果普遍优于神经排序模型的基线模型;与其他段落级检索模型对比,本文模型效果在所有指标上达到最优,说明了利用段落的上下文信息能显著提升检索任务准确性。实验结果验证了既有BERT的多层级上下文段落结构检索方法的有效性。

关键词：相关性匹配文本摘要提取 BERT 神经排序模型

来源：评论

学校读者我要写书评

暂无评论

基于中心句语义相似度的信息检索方法研究

基于中心句语义相似度的信息检索方法研究

引用

作者：黄翔华中师范大学

学位级别：硕士

当今时代信息爆炸式增长,用户如何从海量的数据里快速地查找到自己所需的信息显得至关重要。它不仅带来很多值得研究的学术问题,还催生了像百度、谷歌等以搜索引擎为主营业务的科技巨头,而搜索引擎的核心技术之一就是信息检索。文本信... 详细信息

当今时代信息爆炸式增长,用户如何从海量的数据里快速地查找到自己所需的信息显得至关重要。它不仅带来很多值得研究的学术问题,还催生了像百度、谷歌等以搜索引擎为主营业务的科技巨头,而搜索引擎的核心技术之一就是信息检索。文本信息检索研究的是如何从大规模文档集合中找出满足用户需求的文档的过程。其中的关键技术包括:计算查询与文档的匹配、按匹配程度给文档评分并排序。好的信息检索模型能把与查询主题相关的文档排在返回结果靠前的位置。传统信息检索模型可以看作是词项的精确匹配或相关匹配,这些模型检索效率高但是没有考虑词语的语义,从而会有查询与返回文档语义不匹配的问题。现代的神经排序模型利用深度神经网络训练得到查询和文档的语义表示,然后通过交互式编码或者余弦相似度计算来解决语义匹配的问题。最近,已有学者利用传统模型和神经排序模型的优点,提出将相关匹配和语义匹配相结合的信息检索方法,然而,他们使用文档中的所有句子来计算与查询的语义相似度,因此耗时长,代价高,同时,这些混合信息检索模型通需要多个超参数来调优,不够简洁和高效。针对以上问题,本文提出了一种信息检索方法和一种结合了该方法的检索框架:中心句语义相似度模型CSSS和混合模型检索框架XCSSS。本文设计了一种中心句语义相似度信息检索模型CSSS。首先,该模型提出使用一种滑动窗口机制来抽取候选文档的中心句;其次,为了节省计算时间,仅使用中心句而非文档的全部句子来计算文档和查询主题的语义相似度;最后,本文在四个文本检索会议(Text REtrieval Conference,简称TREC)数据集上进行对比实验来验证CSSS模型的有效性。实验表明CSSS模型的MAP值和P@20值相比传统信息模型均有了显著的提升。在使用相同的预训练语言模型和参数设置的情况下,本文进一步对比了在全部句子计算语义相似度的检索模型,实验结果表明,仅用文档中心句而不是文档的全部句子参与语义匹配计算的准确率更高。本文同时提出了一种改进的混合信息检索框架XCSSS。XCSSS用一种非线性组合的方式将相关匹配和语义匹配相结合。与其它线性结合的混合检索模型相比,由该框架产生的混合检索模型的超参数更少,调参所需的计算成本也更少。在经典概率检索模型的代表BM25和语言模型的代表DLM的基础上分别使用该框架,形成了两种改进的混合信息检索模型:BM25CSSs和DLMCSSS。本文也在四TREC数据集上进行一系列的实验来验证混合信息检索模型BM25CSSS和DLMCSSS的有效性。实验结果表明改进的混合模型BM25CSSS和DLMCSSS的MAP值和P@20相比它们各自的基线模型有了显著性提升。这两种改进的模型的检索性能也明显优于一些深度神经排序模型。相比同类型的结合了相同预训练语言模型的混合信息检索模型,本文提出的混合检索模型在保证检索性能的前提下具有更低的时间复杂度,从而能有效节省在预训练语言模型上语义计算的开销。实验又进一步对混合模型和中心句语义相似度模型的性能进行了比较,结果证实了结合了语义匹配和相关匹配的方法是更有效的。最后,本文分析了中心句个数对这两种改进的混合检索信息检索模型性能的影响。

关键词：信息检索神经排序模型概率模型语言模型语义匹配

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：