检索结果-内蒙古大学图书馆

作者：孙彦雄北京印刷学院

学位级别：硕士

随着互联网时代的不断发展,信息获取也越来越容易,但如何获取到有价值的信息,对于各行各业具有重要意义。出版行业伴随着互联网的发展,诞生了很多网上图书平台,产生了大量与图书出版关联性很强的文本信息。因此,对产生的文本信息进行深... 详细信息

随着互联网时代的不断发展,信息获取也越来越容易,但如何获取到有价值的信息,对于各行各业具有重要意义。出版行业伴随着互联网的发展,诞生了很多网上图书平台,产生了大量与图书出版关联性很强的文本信息。因此,对产生的文本信息进行深度文本挖掘,对出版方有重要意义,在减少投入的同时可以为用户提供更高质量的服务。文本相似度算法作为文本挖掘的底层算法,对文本分类、情感分析、机器阅读理解等多个研究方向的发展都具有重要意义,与此同时,该算法在数字出版中的研究却一直未见发展。针对书评文本信息多样化的特点,做好文本相似度算法在数字出版中的应用面临挑战。本文为解决上述问题,引入了词向量文本表示模型BERT,并与表层语义和文本统计信息相结合,提出一种改进的文本相似度计算方法。本文做的主要研究如下:(1)使用特定领域数据集训练了BERT词向量,改进了特征表示针对性。(2)改进了一种句子分析方法,分为语义主体和非主体,分别计算相似度,最后使用权重相加。(3)改进了权重计算方式,将TF-IDF改进为FV-TF-IDF类频方差,使具有分类能力的词增加所占权重。(4)将词性作为一种影响词语重要性的因素,通过权重的方式应用在相似度计算中。(5)引入了优化参数,使句子长短对句子相似度起到优化作用。(6)最后,将本文提出的Ci-bert加权文本相似度计算方法应用在搜集到的数据集一中进行文本分类研究,并通过实验验证对比分析证明本方法的可行性。

关键词：大数据数字出版自然语言处理文本相似度算法

来源：评论

学校读者我要写书评

暂无评论

基于语义的文本相似度算法研究及应用

基于语义的文本相似度算法研究及应用

引用

作者：张金鹏重庆理工大学

学位级别：硕士

互联网时代的快速发展，科技日新月异的进步，越来越多的信息充斥在网络平台上，网络平台上的数据表现出级数增长的势头，文本在众多信息载体中无疑是互联网上主要的载体形式，导致对文本的挖掘研究逐渐成为计算机领域的热点。文本分词... 详细信息

互联网时代的快速发展，科技日新月异的进步，越来越多的信息充斥在网络平台上，网络平台上的数据表现出级数增长的势头，文本在众多信息载体中无疑是互联网上主要的载体形式，导致对文本的挖掘研究逐渐成为计算机领域的热点。文本分词、文本词性标注和文本表示等相关的基础研究都是为了最终的文本相似度计算，而文本的相似度计算则是众多上层文本应用领域进行深度研究的基础，文本相似度算法的研究作为联系基础研究和上层应用的纽带，已经在自然语言处理、文本分类、文本聚类、问答系统、信息检索、搜索引擎等众多文本挖掘领域中崭露头角，得到了极其广泛的应用。文本相似度算法是指采用一定的策略来比较两个文本之间的相似程度。目前文本相似度算法主要朝着两个方向发展：其一为基于向量空间模型的余弦相似度算法；其二为基于语义词典的语义相似度算法。这两种做法在计算文本之间相似度时都具有一定的意义，但是都缺乏对文本自身特性（文本篇幅和文本语言特征等）的深入分析，余弦向量法相对适用于大篇幅文本，然而该相似度算法中各个关键词的关联性却被全盘忽略；语义词典法受词典容量的制约难以较为准确地反映文本之间的相似度。不同文本应用领域中文本的特性存在着一定的差异（文本篇幅存在长、短之分，文本语言也存在中、英文之分），本文从实际的文本应用出发，展开对不同篇幅、不同语言文本之间相似度计算的研究。针对大篇幅文本中关键词数目丰富而关键词存在多义性的特性，对文本进行语义单元划分，语义单元中关键词间语义相关性采用不同的策略（关键词共现频率投票因子和关键词词性权重等）获得；针对不同语言特性（中文和英文）的小篇幅文本，对文本以词性为标识进行词性向量的划分，针对不同语言特性的文本，关键词语义化权值的定义也采用不同策略。本文主要研究长-长文本、短-短文本和短-长文本之间的相似度比较，并将长-长文本之间的相似度比较算法应用于文本分类领域，短-短文本相似度比较算法应用于FAQ系统领域，短-长文本相似度比较算法应用于搜索引擎领域，实验表明，改进的语义相似度算法使得文本分类的准确率、句子相似度计算的准确率都有了较为明显的提高。

关键词：文本相似度算法语义单元划分词性空间定义关键词语义权值定

来源：评论

学校读者我要写书评

暂无评论

基于改进的文本相似度算法的中文文本分类技术研究

基于改进的文本相似度算法的中文文本分类技术研究

引用

作者：栗蒙光兰州大学

学位级别：硕士

随着大数据时代的到来,各种类型的数据呈几何级数增长,如何在海量的数据中挖掘出真正有价值的信息就成了重中之重。而对于文本数据,如何对繁多的数据进行高效、准确的分类十分关键,这就需要我们对文本分类技术进行深入的研究和分析。另... 详细信息

随着大数据时代的到来,各种类型的数据呈几何级数增长,如何在海量的数据中挖掘出真正有价值的信息就成了重中之重。而对于文本数据,如何对繁多的数据进行高效、准确的分类十分关键,这就需要我们对文本分类技术进行深入的研究和分析。另外,文本分类技术作为自然语言处理中的关键技术,也是实现许多常用应用的前提和基础,诸如问答系统、情感分析、关系抽取等等。中文文本分类技术虽然起步相对较晚,而且面临更加复杂的语法分析问题,但随着相关文本处理算法的研究和改进以及数据运算性能的提高,中文文本分类技术也取得了长足的进步和发展。本文先是对比分析了几种基于文本相似度算法的文本分类技术,然后说明了中文文本独特的语义、语法结构,即中文文本是以词语作为句子含义表述的基本单元;中文文本中不同词性的词语所包含的信息量差异较大等特点。基于此,对中文文本分类中的文本相似度算法进行了改进,采用了基于统计学和基于语言学相结合的方法来计算中文文本相似度。另外,在数据预处理之后进行中文分词时对现有的分词方法进行了改进和优化,并结合实验数据特点对常用的评价标准也进行了改进。最后通过对比实验和分析,基于改进后的文本相似度算法的中文文本分类方法在最终实验中取得了72%的准确率,和基于向量空间模型的相似度算法的中文文本分类方法相比提高了近20%,表明了改进后的中文分词方法和基于词性标注和词向量模型的文本相似度算法在中文文本分类中确实能够取得更为理想的分类结果。

关键词：文本分类技术文本相似度算法词性标注词向量模型中文分词

来源：评论

学校读者我要写书评

暂无评论

基于改进的TF-IDF方法的文本相似度算法研究

引用

泰山学院学报 2015年第3期37卷 18-22页

作者：周丽杰于伟海郭成烟台职业学院电教中心山东烟台264670 烟台市教育局山东烟台264003 烟台职业学院成教处山东烟台264670 大连理工大学软件学院辽宁大连116620

传统的文本相似度算法采用关键词频率表示该关键词在文档中的重要程度,关键词在类别内不同文档中的频率波动使得关键词的权值产生不稳定性,导致文本之间的相似度运算不够准确.本文提出一种基于词语信息量的改进的TF-IDF算法计算关键词... 详细信息

传统的文本相似度算法采用关键词频率表示该关键词在文档中的重要程度,关键词在类别内不同文档中的频率波动使得关键词的权值产生不稳定性,导致文本之间的相似度运算不够准确.本文提出一种基于词语信息量的改进的TF-IDF算法计算关键词的权值,将得到的权值运用于向量空间模型和马尔可夫模型中,分别得到基于向量空间模型的基础相似度和基于马尔可夫模型的语义相似度,将语义相似度和基础相似度相结合,得到文本之间总体相似度.将改进的文本相似度算法运用于文本分类,实验结果表明,在搜狗文本分类语料库基础上,改进的算法相对于传统的文本相似度算法使得文本分类的准确率有了较大地提高.

关键词：文本相似度算法 TF-IDF方法词语关联马尔可夫模型文本分类

来源：评论

学校读者我要写书评

暂无评论

一种改进的文本相似度算法在政务系统中的应用

引用

信息技术与信息化 2016年第7期 49-52页

作者：贾惠娟北京市科学技术情报研究所北京100044

为了更好的提高政务工作的生产效率,提出了编辑距离、改进的空间向量模型以及特征词库相结合的一种改进的文本相似度算法模型。改进算法充分考虑了政务文本的特征,以及特征词分类及权重影响,有效降低了计算的维度、缩小了计算的范围,大... 详细信息

为了更好的提高政务工作的生产效率,提出了编辑距离、改进的空间向量模型以及特征词库相结合的一种改进的文本相似度算法模型。改进算法充分考虑了政务文本的特征,以及特征词分类及权重影响,有效降低了计算的维度、缩小了计算的范围,大大提高了应用系统中检索数据返回的速率。系统运行结果也表明了改进的文本相似度算法在检测相似政务文本方面效果和性能有显著提高。

关键词：文本相似度算法 TF-IDF 向量空间编辑距离电子政务

来源：评论

学校读者我要写书评

暂无评论

文本相似度计算在企业信息检索中的应用

引用

科学技术与工程 2011年第15期11卷 3571-3575,3584页

作者：黄炜长沙航空职业技术学院计算机系长沙410014

企业信息检索系统所要解决的核心问题就是:提高检索关键字集合的规范性与完备性,通过对文本相似度计算及相关分类算法,达到检索关键字集合规范性及完备性提高的目的。给出了线性序列相似度的定义,讨论了匹配矩阵的性质,给出了一种计算... 详细信息

企业信息检索系统所要解决的核心问题就是:提高检索关键字集合的规范性与完备性,通过对文本相似度计算及相关分类算法,达到检索关键字集合规范性及完备性提高的目的。给出了线性序列相似度的定义,讨论了匹配矩阵的性质,给出了一种计算线性序列相似度的算法,并对算法作出了优化。

关键词：信息检索文本相似度算法全局优化状态空间

来源：评论

学校读者我要写书评

暂无评论

R-Grams文本相似度计算中的随机策略研究

R-Grams文本相似度计算中的随机策略研究

引用

2014全国高性能计算学术年会

作者：王贤明胡智文谷琼温州大学瓯江学院温州 325035 浙江传媒学院新媒体学院杭州 310018 湖北文理学院数学与计算机科学学院襄阳 441053

R-Grams文本相似度算法是一种可应用于长文本相似度计算的新型算法,通过随机策略,充分利用了短n-Grams的细粒度检测特性和长n-Grams的高效检测特性,具有语言无关、精度和速度易调节等特点.针对该算法中n-Grams的随机抽取这一核心部分,... 详细信息

R-Grams文本相似度算法是一种可应用于长文本相似度计算的新型算法,通过随机策略,充分利用了短n-Grams的细粒度检测特性和长n-Grams的高效检测特性,具有语言无关、精度和速度易调节等特点.针对该算法中n-Grams的随机抽取这一核心部分,提出了一种位置约束随机策略.通过实验探究了在位置约束下的随机策略对相似度算法的影响,并对结果做了深入分析.实验结果表明:R-Grams文本相似度算法在各种约束随机策略下,基本表现出与无约束随机策略下相似的结果精度,可见该算法具有很强的抗干扰能力.

关键词：文本相似度算法 r-样式分布位置约束随机策略抗干扰能力

来源：评论

学校读者我要写书评

暂无评论

汉字关联性量化方法及其在文本相似性分析中的应用

引用

计算机应用 2006年第6期26卷 1396-1397,1400页

作者：赵彦斌李庆华华中科技大学计算机科学与技术学院湖北武汉430074 国家高性能计算中心湖北武汉430074

文本相似性分析、聚类和分类多基于特征词,由于汉语词之间无分隔符,汉语分词及高维特征空间的处理等基础工作必然引起高计算费用问题。探索了一种在不使用特征词的条件下,使用汉字间的关系进行文本相似性分析的研究思路。首先定义了文... 详细信息

文本相似性分析、聚类和分类多基于特征词,由于汉语词之间无分隔符,汉语分词及高维特征空间的处理等基础工作必然引起高计算费用问题。探索了一种在不使用特征词的条件下,使用汉字间的关系进行文本相似性分析的研究思路。首先定义了文本中汉字与汉字之间关系的量化方法,提出汉字关联度的概念,然后构造汉字关联度矩阵来表示汉语文本,并设计了一种基于汉字关联度矩阵的汉语文本相似性度量算法。实验结果表明,汉字关联度优于二字词词频、互信息、T检验等统计量。由于无需汉语分词,本算法适用于海量中文信息处理。

关键词：汉字关联度信息矩阵文本相似度算法

来源：评论

学校读者我要写书评

暂无评论

基于多粒度偏好的网络文本抄袭检测系统的研究与应用

基于多粒度偏好的网络文本抄袭检测系统的研究与应用

引用

作者：马瑞霜电子科技大学

学位级别：硕士

随着网络时代的到来,人们获取信息的方式从以前的报纸、杂志等发展到了现在的博客、论坛、微博等网络途径,人们可以随时随地的获取最新的消息。人们对于优质信息的需求也不断的变大,因此许多新闻网站、博客牛人应运而生,一篇好的文章,... 详细信息

随着网络时代的到来,人们获取信息的方式从以前的报纸、杂志等发展到了现在的博客、论坛、微博等网络途径,人们可以随时随地的获取最新的消息。人们对于优质信息的需求也不断的变大,因此许多新闻网站、博客牛人应运而生,一篇好的文章,在带来巨大的阅读量的同时还能带来巨大的收益。与此同时,科技发展也让搜索变得更为方便,抄袭盗用的成本也大大降低,因此,侵权问题时常发生,这不仅仅是对原创作者利益的侵害,而且在这种不道德的行为蔓延到整个行业后,对整个中国的创新氛围也会产生极为不利的影响。基于以上背景,本文设计并实现了一个基于多粒度偏好的网络文本抄袭检测系统,该系统的主要功能在于根据用户提交的文本或URL,检测网络上是否存在抄袭与被抄袭现象,并生成相似度报告与相似文本来源占比图表。该系统的用户主要分为个人与企业,个人用户使用系统为网络文本的原创作者提供被抄袭证据,保护原创作者的权益;企业级用户使用系统检测企业站点文章是否存在抄袭其他站点文章的情况,避免企业因此陷入法律纠纷。本文主要工作内容总结如下:1)提出了一种基于《同义词词林》对传统的基于空间向量的余弦算法进行改进的文本相似度算法,并从理论和实验结果两个方面对该算法可行性进行证实。2)提出以多粒度的方式进行文本相似度检测。其中,多粒度表现在网络爬虫与文本相似度计算两个方面。具体表现分别为:根据文本类型的粒度选择爬取相应的网络站点文本,如技术类文本选择主要爬取CSDN、新浪博客等技术型站点,新闻类文本主要爬取腾讯新闻等新闻网站等;根据用户选择的检测粒度调用不同的算法对文本进行相似度计算,如“快速检测”粒度采用传统的余弦算法,“普通检测”粒度采用改进的余弦算法,“详细检测”粒度则采用基于语义理解的文本相似度算法。3)根据文本聚类结果检测系统中使用的文本相似度算法的性能,通过与传统余弦算法比较P、R、F三个评估参数值,确保系统中使用的算法在文本相似度检测方面能达到用户的需求。4)对系统的功能和性能方面进行评估,分析系统的优势以及不足之处,并对系统的后续改进提出想法。

关键词：多粒度文本相似度算法改进的余弦算法

来源：评论

学校读者我要写书评

暂无评论

继电保护信息语义智能识别算法的研究与应用

引用

电力系统保护与控制 2018年第3期46卷 83-88页

作者：钱海邱金辉张道农姜健琳尹浙洪沈亚东国网辽宁省电力有限公司辽宁沈阳110006 华北电力设计院有限公司北京100120 上海泽鑫电力科技股份有限公司上海201206

为了应对当前存在于继电保护领域的语义不标准现象,设计一种继电保护信息语义智能识别算法。该智能算法基于字典管理、语义匹配、检索预处理以及检索管理4大模块。结合采集储存算法、预处理算法和文本相似度算法设计出一种智能自我学习... 详细信息

为了应对当前存在于继电保护领域的语义不标准现象,设计一种继电保护信息语义智能识别算法。该智能算法基于字典管理、语义匹配、检索预处理以及检索管理4大模块。结合采集储存算法、预处理算法和文本相似度算法设计出一种智能自我学习的语义智能处理机制。该算法通过逐步提高计算机自识别率来实现对不标准继电保护语义的统计,从而丰富语义知识积累库,以便增加对不标准语义标准化的正确率。根据对不同类型不标准语义数据的测试,对得到的标准语义数据进行分析验证,证明了此继电保护信息语义智能识别算法具有准确的性能和良好的可行性。

关键词：继电保护系统文本相似度算法人工智能

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：