检索结果-内蒙古大学图书馆

文本相似度计算的一种新方法

引用

计算机科学 2002年第7期29卷 92-93页

作者：张焕炯李玉鉴钟义信北京邮电大学信息工程学院北京100876

1引言目前信息检索技术已应用于许多领域,尤其广泛应用在Intcrnet网络、图书馆等领域,为快速查阅文本信息提供极大便利.文本信息检索利用文本相似度描述文本与查询式之间的匹配程度.

关键词： Internet 文本相似度计算信息检索向量空间模型信息论

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的文本相似度计算

引用

郑州大学学报（理学版） 2020年第1期52卷 66-71,78页

作者：邵恒冯兴乐包芬长安大学信息工程学院

提出了一种基于改进堆叠自动编码器提取低维度句子特征的方法,同时采用自动编码器的降噪技术以增加鲁棒性和表达能力。接着用提取的特征计算文本间句子的相似度并组成相似矩阵,用对应的文本生成文本特征矩阵,然后分别通过对应的深度卷... 详细信息

提出了一种基于改进堆叠自动编码器提取低维度句子特征的方法,同时采用自动编码器的降噪技术以增加鲁棒性和表达能力。接着用提取的特征计算文本间句子的相似度并组成相似矩阵,用对应的文本生成文本特征矩阵,然后分别通过对应的深度卷积网络训练并提取特征。最后用特征融合技术将两个深度卷积网络提取的特征融合,经全连接的多层感知机计算相似度。实验结果证明,提出的方法能够表达句子的语义特征和文本的上下文特征,有效提高文本相似度计算的准确度。

关键词：深度学习自动编码器卷积神经网络文本相似度计算

来源：评论

学校读者我要写书评

暂无评论

面向情感聚类的文本相似度计算方法研究

引用

中文信息学报 2018年第5期32卷 97-104页

作者：李欣李旸王素格山西职工医学院信息中心山西晋中030619 山西大学计算机与信息技术学院山西太原030006 山西大学计算智能与中文信息处理教育部重点实验室山西太原030006

在文本情感分析时,使用无监督的聚类方法,可以有效节省人力和数据资源,但同时也面临聚类精度不高的问题。相似性是文本聚类的主要依据,该文从文本相似度计算的角度,针对情感聚类中文本—特征向量的高维和稀疏问题,以及对评论文本潜在情... 详细信息

在文本情感分析时,使用无监督的聚类方法,可以有效节省人力和数据资源,但同时也面临聚类精度不高的问题。相似性是文本聚类的主要依据,该文从文本相似度计算的角度,针对情感聚类中文本—特征向量的高维和稀疏问题,以及对评论文本潜在情感因素的表示问题,提出一种基于子空间的文本语义相似度计算方法(RESS)。实验结果表明,基于RESS的文本相似度计算方法,有效解决了文本向量的高维问题,更好地表达了文本间情感相似性,并获得较好的聚类结果。

关键词：文本情感聚类文本相似度计算文本语义子空间

来源：评论

学校读者我要写书评

暂无评论

一种PST_LDA中文文本相似度计算方法

引用

计算机应用研究 2016年第2期33卷 375-377,383页

作者：张超陈利李琼华中师范大学计算机学院武汉430079 汉口学院计算机科学与技术学院武汉430212

为了降低中文文本相似度计算方法的时间消耗、提高文本聚类的准确率,提出了一种PST_LDA(词性标注潜在狄利克雷模型)中文文本相似度计算方法。首先,对文本中的名词、动词和其他词进行词性标注;然后,分别对名词、动词和其他词建立相应的LD... 详细信息

为了降低中文文本相似度计算方法的时间消耗、提高文本聚类的准确率,提出了一种PST_LDA(词性标注潜在狄利克雷模型)中文文本相似度计算方法。首先,对文本中的名词、动词和其他词进行词性标注;然后,分别对名词、动词和其他词建立相应的LDA主题模型;最后,按照一定的权重比例综合这三个主题模型,计算文本之间的相似度。由于考虑了不同词性的词集对文本相似度计算的贡献差异,利用文本的语义信息提高了文本聚类准确率。将分离后的三个词集的LDA建模过程并行化,减少建模的时间消耗,提高文本聚类速度。在TanCorp-12数据集分别用LDA和PST_LDA方法进行中文文本相似度计算模拟实验。实验结果显示,PST_LDA方法不仅减少了建模时间消耗,同时在聚类准确率上有一定的提高。

关键词：词性标注 LDA模型 PST_LDA模型文本相似度计算

来源：评论

学校读者我要写书评

暂无评论

基于朴素贝叶斯分类及向量空间模型的文本相似度计算方法

基于朴素贝叶斯分类及向量空间模型的文本相似度计算方法

引用

作者：方正云南大学

学位级别：硕士

文本相似度计算研究的是通过计算机度量两份文档是否相似，相似度是多少的问题。随着互联网的不断发展，网络中的数据也呈爆炸式增长，但数据质量参差不齐，还有许多是直接复制或引用的。由于这些相同或高度相似的数据大量的存在，给普... 详细信息

文本相似度计算研究的是通过计算机度量两份文档是否相似，相似度是多少的问题。随着互联网的不断发展，网络中的数据也呈爆炸式增长，但数据质量参差不齐，还有许多是直接复制或引用的。由于这些相同或高度相似的数据大量的存在，给普通用户使用搜索引擎带来了很大的阻碍。而对文本相似度计算的研究，则有利于提高搜索引擎返回结果的质量和准确度，提高用户体验。本文提出将朴素贝叶斯分类和向量空间模型结合起来处理搜索引擎返回结果的想法，并对此想法进行了验证。\n 本文着重讨论了文档相似度计算的相关问题，大致可以分为以下几个方面：\n (1)介绍互联网搜索的现状，说明搜索中存在的问题，讨论了文本相似度计算对搜索引擎返回结果的改善作用。\n (2)介绍了贝叶斯理论和朴素贝叶斯分类的概念，说明了朴素贝叶斯分类在自然语言文本分类方面的作用。并且举例说明了朴素贝叶斯分类的计算方法。\n (3)介绍了向量空间模型的概念，说明了向量空间模型在相似度计算方面的用途。也讨论了对于大规模数据，向量空间模型不太适用的方面，并提出了修改方案，介绍了怎样将向量空间模型应用到句子相似度的计算中。\n (4)提出了将朴素贝叶斯分类和向量空间模型结合起来应用到文本相似度计算中的想法，对此想法进行了理论论证，并将此想法通过算法实现。\n (5)对前面设计的算法套用了几个样本数据进行实验，证明了算法的有效性。

关键词：文本相似度计算贝叶斯理论朴素贝叶斯分类向量空间模型局部搜索

来源：评论

学校读者我要写书评

暂无评论

中文短文本相似度计算研究与应用

中文短文本相似度计算研究与应用

引用

作者：吕思睿浙江工业大学

学位级别：硕士

中文短文本相似度计算是指给定两个句子对，系统对其建模，从而计算出它们的语义是否一致。由于传统的文本相似度研究大都集中在长文本和英文数据集，所以这些现有系统较难复用于中文短文本任务。对中文短文本进行建模时考虑使用主题模... 详细信息

中文短文本相似度计算是指给定两个句子对，系统对其建模，从而计算出它们的语义是否一致。由于传统的文本相似度研究大都集中在长文本和英文数据集，所以这些现有系统较难复用于中文短文本任务。对中文短文本进行建模时考虑使用主题模型提供辅助信息以及中文特有特征，能够有效解决传统模型用于中文短文本的不足。本文以孪生双向LSTM神经网络作为整体架构，分别基于主题模型、多头注意力机制和中文的拼音特征、部首特征对其改进，构建更适合中文短文本的文本相似度计算模型。本文的主要工作和成果如下：　　(1)基于主题模型和多头注意力机制改进的文本相似度计算模型　　本文基于主题模型和多头注意力机制对孪生双向LSTM网络进行改进，提出了T-BiLSTM模型。普通孪生双向LSTM网络在文本建模时，无法应对短文本内容少所造成的文本特征稀疏、高维等问题，且建模过程缺乏文本间的上下文信息交互。因此，本文以孪生双向LSTM为基线模型，增加主题模型捕获文本额外特征以弥补文本信息不足的问题，同时加入多头注意力机制增强文本间信息交互能力。在LCQMC数据集上进行实验，T-BiLSTM模型的F1评分与基线模型相比始终保持最高。　　(2)基于拼音和部首特征增强T-BiLSTM的文本相似度计算模型TPR-BiLSTM本文使用拼音特征和部首特征对T-BiLSTM模型进行增强提出了TPR-BiLSTM模型。虽然主题模型和多头注意力解决了短文本特征稀疏和缺少文本间信息交互的问题，但汉语中还存在大量多音字，这些多音字在不同读音下，表达的意思也不同，因此其造成了语义理解的困难，本文提出使用拼音特征解决此问题。同时中文部首经常被用来归类事物，它可以提供部分语义信息供模型捕捉，因此本文加入部首特征进一步丰富短文本信息。TPR-BiLSTM模型在LCQMC和BQ数据集上的实验结果显示，此模型在中文短文本数据集取得了良好的效果。　　(3)基于TPR-BiLSTM模型的特定领域自动问答系统　　本文基于上述两个研究构建了一个特定领域的自动问答系统，通过建立问题答案集合，实现了基于问题匹配的自动问答。

关键词：文本相似度计算 LSTM网络注意力机制拼音特征部首特征 TPR-BiLSTM模型

来源：评论

学校读者我要写书评

暂无评论

基于多特征融合的文本相似度计算方法研究

基于多特征融合的文本相似度计算方法研究

引用

作者：邵恒长安大学

学位级别：硕士

随着计算机和互联网技术的不断发展,网络文本数据呈爆炸式增长,如何将这些海量文本数据有效利用和管理成为自然语言处理领域的重点,而文本相似度计算是这一领域的核心技术之一,具有十分广阔的应用前景与研究价值。目前文本相似度计算主... 详细信息

随着计算机和互联网技术的不断发展,网络文本数据呈爆炸式增长,如何将这些海量文本数据有效利用和管理成为自然语言处理领域的重点,而文本相似度计算是这一领域的核心技术之一,具有十分广阔的应用前景与研究价值。目前文本相似度计算主要存在以下两方面问题:一方面,现有研究方法主要使用机器学习结合特征工程来构建计算模型,特征的设计和提取严重依赖专家领域知识,模型性能低。另一方面,目前深度学习领域中对于中文文本特征信息的提取不够充分,仅仅考虑了单一特征,缺乏语义细节、上下文交互作用和对多特征融合的应用,相似度计算准确率低。针对以上问题,本文以文本相似度为研究对象,主要完成了以下工作:(1)构造了丰富的中文文本数据集,并对数据进行了预处理,包括去停用词、分词、构建预训练模型等。详细分析了经典相似度算法的优劣并进行了相关对比实验。(2)提出了一种融合语义特征、文本间交互特征、上下文结构特征的文本相似度计算方法。在特征提取的任务上,兼顾多个特征提取目标,包括:通过卷积神经网络(Convolution Neural Networks,CNN)的多粒度卷积和对应的池化方式,有效提取文本的结构和词序信息;通过向双向长短期记忆网络(Bi-Directional Long Short-Term Memory,Bi-LSTM)中加入特征的交互作用,放大文本的相同点和差异性,提取文本的语义和交互信息;构建LSF特征提取两个文本词语之间的关联特征。设计融合策略将多种特征有效融合,较好的保留原始特征以及多种特征间的联系,并用相似度计算模块计算文本相似度。(3)在构建的多特征融合相似度计算模型中进一步引入了注意力机制的思想。在Bi-LSTM模型中引入多维自注意力机制高效的学习文本中内部结构特征,提取到文本中丰富的语义信息,让文本中的词有了重心。构建交互注意力矩阵,并通过矩阵的正交分解兼顾相似和不相似之处,利用CNN网络挖掘特征。引入多种注意力机制后模型计算相似度准确率更好,特征表达更全面。为了验证模型的性能,本文设置了几组对比实验并在阿里天池竞赛和Chinese STS两个数据集上验证。实验结果表明,相比于目前的几种主流模型,本文构建的模型能够有效提取出语义细节、交互信息,较好评估了文本相似度,具有更好的性能。

关键词：深度学习文本相似度计算特征融合注意力机制卷积神经网络

来源：评论

学校读者我要写书评

暂无评论

文本相似度计算方法及装置

文本相似度计算方法及装置

引用

作者：李阳林永峰罗灿 100091 北京市海淀区东北旺西路8号中关村软件园4号楼C座1-03

本发明实施例公开了文本相似度计算方法及装置。该文本相似度计算方法包括：通过比较两个文本的节点，计算两个文本的增删距离与替换距离，其中所述增删距离与所述替换距离的和为所述两个文本的编辑距离；根据增删距离与替换距离，计算... 详细信息

标准号: CN104090865A

本发明实施例公开了文本相似度计算方法及装置。该文本相似度计算方法包括：通过比较两个文本的节点，计算两个文本的增删距离与替换距离，其中所述增删距离与所述替换距离的和为所述两个文本的编辑距离；根据增删距离与替换距离，计算两个文本的相似度。本发明实施例提供的技术方案，能够采用一种不依赖于词典、切词以及模型训练的算法，来实现文本之间的相似度的计算，从而可以提高相似度的计算速度。

关键词：文本相似度文本相似度计算编辑距离计算速度模型训练算法依赖

来源：评论

学校读者我要写书评

暂无评论

利用深度学习的文本相似度计算方法

引用

湘潭大学自然科学学报 2018年第2期40卷 104-107页

作者：汪一百陈实叶剑锋新型药物制剂研发湖南省重点实验室培育基地湖南长沙410219 长沙医学院信息工程学院湖南长沙410219 南京航空航天大学机电学院江苏南京210016

针对在自然语言处理中起着关键作用的文本相似度计算问题,提出了一种神经网络深度学习的词向量模型计算方法.利用词向量计算文本语义相似度,并采用高频词滤波的方法削弱扰动的影响.对百度新闻、新浪新闻等的中文词库进行训练,并与传统... 详细信息

针对在自然语言处理中起着关键作用的文本相似度计算问题,提出了一种神经网络深度学习的词向量模型计算方法.利用词向量计算文本语义相似度,并采用高频词滤波的方法削弱扰动的影响.对百度新闻、新浪新闻等的中文词库进行训练,并与传统的检测方法进行对比.实验结果证明了提出方法的有效性和准确性.

关键词：文本相似度计算词向量模型深度学习高频词滤波

来源：评论

学校读者我要写书评

暂无评论

基于词频比的改进Jaccard系数文本相似度计算

引用

内江科技 2021年第8期42卷 27-28页

作者：谢红中国人民大学信息学院

基于词频比的改进Jaccard系数文本相似度计算,交集中词的权重不是相同的,而是按照词频比确定权重。通过短文本实验和长文本实验,基于词频比的改进Jaccard相似度比传统Jaccard相似度更加科学合理,适合法律法规、政策文件等说明性文本的... 详细信息

基于词频比的改进Jaccard系数文本相似度计算,交集中词的权重不是相同的,而是按照词频比确定权重。通过短文本实验和长文本实验,基于词频比的改进Jaccard相似度比传统Jaccard相似度更加科学合理,适合法律法规、政策文件等说明性文本的相似度计算。

关键词：文本相似度计算词频政策文件权重法律法规

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：