检索结果-内蒙古大学图书馆

数据分析与知识发现 2018年第10期2卷 103-109页

作者：徐建民许彩云河北大学网络空间安全与计算机学院保定071002

【目的】针对仅利用文本信息计算科技文档相似度存在的不足,提出一种结合文本和公式信息计算科技文档相似度的方法。【方法】将单个公式的特征元素映射为位置向量,计算得到单个公式的相似度;计算文档间的公式覆盖度和相似度;结合文本和... 详细信息

【目的】针对仅利用文本信息计算科技文档相似度存在的不足,提出一种结合文本和公式信息计算科技文档相似度的方法。【方法】将单个公式的特征元素映射为位置向量,计算得到单个公式的相似度;计算文档间的公式覆盖度和相似度;结合文本和公式信息计算得到科技文档相似度。【结果】比较本文方法和传统向量空间方法的分类性能,结果显示本文方法在宏平均F值上最大可提高6.7%。【局限】没有包含文档公式信息的公开测试集,自行构建的数据集规模较小。【结论】结合公式信息计算文档相似度,不仅能有效提高文档相似度计算的准确性,而且可以实现跨语言文档的相似度计算。

关键词：公式相似度文档相似度覆盖度科技文档

来源：评论

学校读者我要写书评

暂无评论

采用相关反馈和文档相似度的维吾尔语检索词加权方法

引用

华侨大学学报（自然科学版） 2017年第3期38卷 408-413页

作者：于丽亚森.艾则孜新疆警察学院信息安全工程系新疆乌鲁木齐830011

针对维吾尔语Web文档的有效检索问题,提出一种基于相关反馈和文档相似度的检索词加权方法.首先,对维吾尔语文档进行预处理,获得相应的词干集.然后,当用户输入多个检索词时,执行初始检索,并基于局部相关反馈思想提取出排名靠前的N个文档... 详细信息

针对维吾尔语Web文档的有效检索问题,提出一种基于相关反馈和文档相似度的检索词加权方法.首先,对维吾尔语文档进行预处理,获得相应的词干集.然后,当用户输入多个检索词时,执行初始检索,并基于局部相关反馈思想提取出排名靠前的N个文档.接着,利用TF-IDF算法计算检索词与反馈文档之间的词频相似度,通过余弦距离计算文档之间的相似度,并以此对检索词进行两次加权.最后,根据加权后的检索词进行文档检索.实验结果表明:该方法能够准确地检索出用户所需的文档,并将其靠前排序.

关键词：维吾尔语文档检索检索词加权相关反馈文档相似度

来源：评论

学校读者我要写书评

暂无评论

基于术语同义关系的文档相似度研究

引用

河北大学学报（自然科学版） 2017年第1期37卷 108-112页

作者：张锡忠徐建民保定市教育考试院信息处河北保定071000 河北大学计算机科学与技术学院河北保定071002

基于向量空间的文档相似度算法假设特征元素间关系为正交,当2篇文档采用了具有相近语义的不同术语描述时,该方法不能准确反映二者的相似性.针对这种情况,文章利用词语的同义关系,在给出术语与术语组相似度、术语组和术语组间相似度的概... 详细信息

基于向量空间的文档相似度算法假设特征元素间关系为正交,当2篇文档采用了具有相近语义的不同术语描述时,该方法不能准确反映二者的相似性.针对这种情况,文章利用词语的同义关系,在给出术语与术语组相似度、术语组和术语组间相似度的概念及算法的基础上,给出一种基于词语相似关系的文档相似度计算方法.实验采用科技文献类文档和新闻报道类文档作为测试集合,比较新方法和向量空间算法的分类性能,结果显示新方法可提高文档分类的准确性.

关键词：同义词词语相似度文档相似度

来源：评论

学校读者我要写书评

暂无评论

基于文档相似度的测试用例复用方法研究与实现

基于文档相似度的测试用例复用方法研究与实现

引用

作者：母红芬北京化工大学

学位级别：硕士

随着军用航空软件的持续发展，软件研制和质量保障过程中，积累了丰富的历史测试用例和需求文档。信息量不断增长，测试任务繁重，对软件测试人员的业务水平要求越来越高，在保障质量的同时，还需要保证测试过程的高效性和专业性。如何... 详细信息

随着军用航空软件的持续发展，软件研制和质量保障过程中，积累了丰富的历史测试用例和需求文档。信息量不断增长，测试任务繁重，对软件测试人员的业务水平要求越来越高，在保障质量的同时，还需要保证测试过程的高效性和专业性。如何利用历史测试数据，来指导新的测试，是一个非常重要且严峻的挑战。\n 测试用例复用是建立在知识积累的基础上，通过在测试过程中充分利用历史的测试用例的经验和成果，来引导新的测试。在软件做出修改或者有相似的测试任务时，使用原来的测试用例，能提高测试的效率，缩短测试时间，同时也能提高历史测试用例的价值，降低对测试人员的专业要求。\n 基于军用航空软件需求规格说明（以下简称需求）和测试用例执行记录单（以下简称测试用例）的文档特点，本文提出一种基于文档相似度的测试用例复用方法，设计出复用模型，分析影响且提高复用度的文本相似度判断方法和标签提取策略，将测试用例复用的问题转换为中文长文档相似度判断和主题挖掘的问题，利用本文提出的方法设计并实现了基于文档相似度的测试用例复用系统，对历史需求和测试用例文档进行规范化管理和智能推荐。\n 本课题的主要工作及创新点总结如下:\n 1.提出了一个测试用例复用的新策略。传统的测试用例复用都是基于检索或者形式化模型来实现的，检索的方法需要记住检索关键字，形式化建模会随着文档的增加而使模型变得复杂。基于这些局限以及需求和测试用例文档的特点，本文采用自然语言处理文档相似度的方法，从文档相似度角度来挖掘需求之间的相似性和需求与测试用例的相关性。\n 2.研究了基于文本相似度复用的方法并给出具体实现，将测试用例复用分为相似文档推荐和标签提取两个部分，将词频权重统计方法TFIDF与神经网络词向量模型doc2vec和自然语言处理主题挖掘模型LDA相结合，提出结构权重的概念，在此基础上提出测试用例复用模型。\n 3.从文档相似度判别和标签推荐两个角度，分别设计实验，在sougou语料库和真实军用航空软件需求和测试用例文档上进行实验，验证了本文提出复用方法的有效性。\n 4.根据本课题提出的复用策略和模型，结合某军工航空软件研究院测试用例复用需求，设计并实现了测试用例复用系统，将方法应用在实际航空软件测试过程中。该方法在实践上具有可行性，并且能提高测试用例的复用效率。

关键词：软件测试测试用例复用文档相似度判断方法标签提取策略

来源：评论

学校读者我要写书评

暂无评论

面向法律案例检索的文档相似度计算研究

面向法律案例检索的文档相似度计算研究

引用

作者：李兰君南京师范大学

学位级别：硕士

文档相似度计算是法律案例检索中的基础性工作,然而目前法律案例检索技术还尚未成熟。本文分别从传统方法和深度学习方法角度分析和比较现有的文档相似度计算方法,然后针对现有方法的不足,分别设计与实现更有效的案例文本相似度计算模... 详细信息

文档相似度计算是法律案例检索中的基础性工作,然而目前法律案例检索技术还尚未成熟。本文分别从传统方法和深度学习方法角度分析和比较现有的文档相似度计算方法,然后针对现有方法的不足,分别设计与实现更有效的案例文本相似度计算模型与算法。本文的主要工作有以下几点:(1)开发了一个法律案例文本相似度标注数据集,该数据集有1225个不同的文档对。目前尚没有公开的中文法律案例数据集或者其他任务的中文文档相似度数据集,实验数据集是我们实验论证的基础。(2)提出了结合二部图和句法信息的文档相似度计算方法。首先设计和实现了基于词项语义信息和TF-IDF的传统方法的baseline系统。针对baseline系统未能考虑关键词向量的完整信息以及缺乏句法信息的问题和不足,本文利用二部图改进关键词向量的计算方法并进一步结合句法信息计算文档相似度。(3)提出了融合注意力机制和文档内容压缩的文档相似度计算方法。首先设计和实现了基于长短时记忆网络的孪生网络模型的深度学习方法的baseline系统。针对baseline系统没有考虑文档中不同词项的重要性信息的不足,提出和设计了结合注意力机制的孪生网络计算模型;进一步针对将整个文本看成是模型输入序列易导致数据稀疏的问题,提出利用层级注意力机制改进孪生网络中的文档表示;最后针对基于层级注意力机制的孪生网络计算模型可能有忽略文档中重要句子的问题,提出一种引入文档内容压缩的两步骤文档相似度计算方法。对提出的基于传统方法和深度学习方法的文档相似度算法做了一系列实验,实验结果表明我们的方法明显优于baseline系统。

关键词：文档相似度二部图孪生网络注意力机制

来源：评论

学校读者我要写书评

暂无评论

基于加权层次子树的XML文档相似度计算

基于加权层次子树的XML文档相似度计算

引用

作者：王玲天津工业大学

学位级别：硕士

近几年来，随着社会信息化进程的不断深入发展，人类对信息的需求和依赖程度越来越高，如何从海量的信息资源中快速有效的获取有用的信息，已经成为研究的热点，这也给信息检索带来了极大的挑战。随着互联网的发展XML凭借其自身具有的... 详细信息

近几年来，随着社会信息化进程的不断深入发展，人类对信息的需求和依赖程度越来越高，如何从海量的信息资源中快速有效的获取有用的信息，已经成为研究的热点，这也给信息检索带来了极大的挑战。随着互联网的发展XML凭借其自身具有的结构化、可扩展、自描述等特点已经成为互联网上数据存储和数据交换的标准。\n 文档相似度的计算是文档检索、挖掘和深层次智能处理的基础，因此对相似度计算进行研究具有非常重要的意义，可以说文档相似度的计算直接影响了最后的检索结果。如果文档相似度的计算结果高效准确，那么检索结果就能达到用户的期望值。反之，如果文档相似度的计算结果不准确，查询过程的查全率和查准率就会受到很大的影响，最后用户就会检索不到自己想要的结果。\n 本文首先介绍了树编辑距离模型和频繁路径模型以及基于它们的相似度计算，综合这两种模型的优缺点，提出了一种针对XML文档结构聚类的模型——加权层次子树模型，并提出了基于加权层次子树模型的文档相似度计算方法，加权层次子树模型很好的表示了XML文档的层次关系和层次信息，通过消除重复元素和重复表达式，用更加简洁的表达式表示出XML文档的层次和元素信息，并基于此方法对XML文档进行了聚类分析。此相似度计算方法能将问题有效地简化，从而降低了解决问题的复杂度。这种算法能快速、准确分辨出具有相同结构的XML文档。\n 本文基于加权层次子树模型，提出了加权层次子树模型的相似度计算方法，首先考虑了元素的语义信息，将XML文档的元素语义信息纳入计算中，通过对语义信息的考虑，更加精确了相似度计算，从而达到很好的聚类效果。其次，在XML文档相似度计算中，考虑到了层次的权重问题，靠近根节点层次上的节点比远离根节点层次上的节点占的比重要大，每一层上的权重系数都不相同，层次越高，权重系数越大，它对整个XML文档相似度的影响也就越大；反之，层次越低，权重系数越小，它对整个XML文档相似度的影响也就越小。权重系数以2的次幂逐层递增。这样计算出来的相似度就会更精确。为了验证基于该模型的相似度计算效果，本文采用了K-中心点算法进行聚类分析，实验结果表明，基于这种模型的相似度计算方法要优于树编辑距离和频繁路径等相似度计算方法得到的效果。

关键词： XML文档加权层次子树模型文档相似度聚类分析树编辑距离模型

来源：评论

学校读者我要写书评

暂无评论

基于文本和公式的科技文档相似度计算研究

基于文本和公式的科技文档相似度计算研究

引用

作者：许彩云河北大学

学位级别：硕士

常用的文档相似度计算方法主要包括集合模型方法、向量空间模型方法、潜在语义分析法等,这些方法仅利用文本信息计算文档相似度。然而,科技文档中包含着大量的非文本信息,如公式、图和表,从而使得原有方法已不太适用。本文提出一种基于... 详细信息

常用的文档相似度计算方法主要包括集合模型方法、向量空间模型方法、潜在语义分析法等,这些方法仅利用文本信息计算文档相似度。然而,科技文档中包含着大量的非文本信息,如公式、图和表,从而使得原有方法已不太适用。本文提出一种基于文本和公式的科技文档相似度计算方法。该方法主要考虑科技文档中的文本和公式信息,在得到文本相似度和文档间公式相似度的基础上,利用线性组合方法得到科技文档相似度。在MREC数据集上的实验结果表明,文本和公式方法在宏平均F1-score(MF)上最大可提高3%。结合公式信息计算科技文档相似度,不仅能有效提高科技文档相似度的准确性,而且可以实现跨语言科技文档的相似度计算。本文的主要工作包括:公式相似度计算方法有很多种,在不考虑公式变量的前提下,本文提出两种公式相似度计算方法。针对基于文本方法中未考虑公式特征元素有序性的问题,提出一种基于特征序列化的公式相似度计算方法。该方法有序提取公式的运算符、常量和括号作为其特征元素,将公式特征元素的位置映射为位置向量,通过计算位置向量是否相等得到公式相似度。针对混合方法中子树的无效匹配问题,提出一种基于有效匹配子树的公式相似度计算方法。该方法首先按先序遍历策略有序获得有效子树多重集,其次利用有效子树父节点的第一个孩子节点的交换性及有效子树是否已被匹配等信息,找到所有的有效匹配子树,最后综合考虑有效匹配子树的节点数和其所在解析树中的层次对有效匹配子树权重的影响,给出有效匹配子树权重计算方法,从而得到公式相似度。实验验证了有效匹配子树方法的有效性。为保证公式的一对一匹配和合理量化文档间公式相似度,提出一种基于KM算法的文档间公式相似度计算方法。该方法利用公式间的相似度,构建文档间公式的带权二部图,采用KM算法求带权二部图的最大权匹配,利用最大权匹配和文档间公式个数计算文档间的公式相似度。

关键词：科技文档文档相似度公式相似度特征序列化有效匹配子树文档间公式

来源：评论

学校读者我要写书评

暂无评论

基于文档相似度的伪相关反馈方法研究

基于文档相似度的伪相关反馈方法研究

引用

作者：刘亚楠华中师范大学

学位级别：硕士

伴随互联网的飞速发展,网络信息呈现爆发式增长态势。通常,用户根据需求信息,使用搜索引擎进行针对性搜索可大幅提高信息获取效率。然而,网络信息存在非结构化、分布广泛、组织开放、形式多样、更新迅速等诸多因素使信息检索的难度不断... 详细信息

伴随互联网的飞速发展,网络信息呈现爆发式增长态势。通常,用户根据需求信息,使用搜索引擎进行针对性搜索可大幅提高信息获取效率。然而,网络信息存在非结构化、分布广泛、组织开放、形式多样、更新迅速等诸多因素使信息检索的难度不断加大。如何进一步提高信息获取的效率仍是信息检索领域的重要课题。一般来说,用户对于信息需求的表达往往不够精准,从而造成用户查询与检索到的文档信息不匹配或不相关,因此,传统的检索模型往往不能准确的满足用户查询需求。伪相关反馈技术的产生使该问题在一定程度上得到解决,伪相关反馈模型基于初次检索返回文档信息,对初始查询进行修改或者扩展以改善检索性能。该技术是信息检索中对查询进行优化的一种有效方法,具有重要的研究价值和实际意义。本文主要研究工作如下:首先,本文在伪相关反馈的基础上,基于返回排名靠前的N篇文档,对用户查询进行权重调整,在不添加扩展词的情况下,着重强调了文档与文档之间的相似性,以及初始查询与文档之间的相似性,对初始查询词重新加权,并与不同的传统检索模型相结合,进一步提高了检索性能。本文基于多个TREC数据集进行有效性测试,实验结果表明,基于文档相似度调整权重的伪相关反馈方法相对于传统检索方法来说,检索性能有所提高。其次,将文档相似度进行权重调整的方法与查询扩展相结合,对初始查询词进行加权并添加相关查询词,从而构成新的查询。本文中通过利用传统的建模模型获取相关扩展词,利用文档相似度方法调整初始查询词的权重并与扩展词之间进行平滑,充分考虑了新查询的重要性,并与两种常见的扩展方法相结合,在TREC数据集上进行对比验证,结果表明,该方法有效地提高了检索性能。最后,本文设计并实现了基于文档相似度的信息检索系统,该系统主要包含两个模块,检索模块和用户交互模块。检索模块主要对文档集进行解析、预处理以及文档检索。用户交互模块实现了用户登录系统,选择单个数据集,可以通过条形图快速了解该数据集在多种检索方法上的实验结果。

关键词：信息检索文档相似度伪相关反馈查询扩展

来源：评论

学校读者我要写书评

暂无评论

基于MapReduce架构的文档相似度计算方法

引用

网络与信息 2010年第9期24卷 36-37页

作者：洪毅虹武汉大学计算机学院湖北430079

MapReduce是Google开发的在超大集群下进行海量数据运算的一种分布式编程模式。Google利用MapReduce编程模式,其搜索业务取得了巨大的成功。TF-IDF是计算词条权值的一种方法,常被搜索引擎应用,作为文件与用户查询之间相关程度的度量或评... 详细信息

MapReduce是Google开发的在超大集群下进行海量数据运算的一种分布式编程模式。Google利用MapReduce编程模式,其搜索业务取得了巨大的成功。TF-IDF是计算词条权值的一种方法,常被搜索引擎应用,作为文件与用户查询之间相关程度的度量或评级,但是计算量特别大。本文将介绍使用MapReduce架构来解决TF-IDF实现中计算量大、速度慢的问题。

关键词： TF-IDF 文档相似度海量数据 MapReduce

来源：评论

学校读者我要写书评

暂无评论

基于文档相似度的双语文档排序学习

引用

计算机与数字工程 2017年第10期45卷 1986-1989,2017页

作者：黄健昆明理工大学智能信息处理重点实验室昆明650500

论文提出了一种双语文档排序学习模型。排序是信息检索系统中重要的一个环节,学者们已经对单语言环境下的文档排序学习问题进行了很多的研究,但是多语言语境下的文档排序问题并没有得到很大的重视。在双语文档集合中,文档是用两种不同... 详细信息

论文提出了一种双语文档排序学习模型。排序是信息检索系统中重要的一个环节,学者们已经对单语言环境下的文档排序学习问题进行了很多的研究,但是多语言语境下的文档排序问题并没有得到很大的重视。在双语文档集合中,文档是用两种不同语言写成的,所以我们并不能使用已有的单语言排序学习模型直接对双语言文档进行排序。在单语言排序学习模型的基础上,提出了一种基于双语文档相似度的双语文档排序学习方法。为了能够把源语言文档和目标语言文档关联起来,提出了一种基于双语word embedding的双语文档相似度计算方法。通过简单地把源语言查询翻译为目标语言,达到筛选目标语言文档的目的。实验结果表明,该方法在英汉和英越两种语境下都取得了较好的效果。

关键词：排序学习信息检索文档相似度查询翻译双语语境

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：