检索结果-内蒙古大学图书馆

中文信息学报 2023年第4期37卷 18-27,33页

作者：李炫达周兰江张建安昆明理工大学信息工程与自动化学院云南昆明650500 战略支援部队信息工程大学三院昆明大队云南昆明650500

老挝语属于低资源语言,在有限的语料中获取更多的语义信息可以有效解决汉语和老挝语短文本相似度计算不准确的问题。多任务学习是有效获取语义信息的一种方法,该文对汉语和老挝语短文本特点进行研究后,提出一种融合词性位置特征的多任... 详细信息

老挝语属于低资源语言,在有限的语料中获取更多的语义信息可以有效解决汉语和老挝语短文本相似度计算不准确的问题。多任务学习是有效获取语义信息的一种方法,该文对汉语和老挝语短文本特点进行研究后,提出一种融合词性位置特征的多任务汉老双语短文本相似度计算方法:首先,通过词性位置特征权重和TF-IDF权重加权表征双语短文本的同时,使用改进后的TextRank算法获取双语短文本的核心句;然后,通过带有自注意力机制的双向长短时记忆网络分别计算双语短文本的相似度与双语短文本对应核心句的相似度;最后,使用多任务学习方法,将双语短文本的核心句相似度计算作为辅助任务,获取更多的语义信息进行共享以提升汉老双语短文本相似度计算模型的性能。实验结果表明,该文提出的方法在有限的训练语料下取得了更好的效果,F_(1)值达76.16%。

关键词：汉语-老挝语词性位置特征多任务学习短文本相似度计算

来源：评论

学校读者我要写书评

暂无评论

基于Siamese结构模型的短文本相似度计算方法研究

基于Siamese结构模型的短文本相似度计算方法研究

引用

作者：孟泽舟北方工业大学

学位级别：硕士

基于深度学习的短文本相似度计算方法一直是自然语言处理领域中一项重要研究,然而现有的深度学习模型在短文本相似度计算任务中存在对文本语义提取不充分、语境结合能力差、一词多义理解能力较低等缺点。现如今的主流方法是通过更加复... 详细信息

基于深度学习的短文本相似度计算方法一直是自然语言处理领域中一项重要研究,然而现有的深度学习模型在短文本相似度计算任务中存在对文本语义提取不充分、语境结合能力差、一词多义理解能力较低等缺点。现如今的主流方法是通过更加复杂或参数量更大的模型来提高短文本相似度计算准确率,但这类方法会消耗大量计算机算力,增加模型训练时间,降低模型的泛用性。针对现有基于深度学习的短文本相似度计算方法存在的问题,本文做了以下工作:(1)针对传统短文本相似度计算模型所存在的问题,设计了一种基于BERT的Siamese短文本相似度计算模型。该方法将模型整体设计为Siamese结构,在词向量嵌入部分使用了Siamese-BERT模型进行向量嵌入,并使用Bi-LSTM网络进行特征提取,同时增加自注意力机制,设计出Siamese-BERT-Bi-LSTM-att模型,对模型调优后在标准数据集上进行对比与消融实验。实验证明该方法增强了模型对短文本的语义理解能力,提高了短文本相似度计算的准确率与F1值。(2)Siamese-BERT-Bi-LSTM-att模型的准确率虽然有一定提升,但在实验过程中发现此类方法相较于传统模型对计算机算力牺牲过大,导致训练时间大幅增加。针对这个问题,本文设计了一种Siamese-ALBERT-Bi-GRU-att模型,该方法有效的降低了词嵌入层与特征提取层的处理时长。并在标准数据集MSRP与标准数据集QQP上进行对比实验与消融实验,实验证明Siamese-ALBERT-Bi-GRU-att模型既提升了模型的短文本语义理解能力,又缩短了该类改进方法模型的训练时间,增加了模型的泛用性。本文设计了两种短文本相似度计算模型,综合了动态词向量训练模型与特征提取网络的优点,使模型整体的相似度计算准确率增加,同时设计了新模型在不影响模型短文本相似度计算准确率的情况下减少训练时长,增强模型的泛用性。

关键词：短文本相似度计算 ALBERT BERT GRU Siamese网络自注意力机制

来源：评论

学校读者我要写书评

暂无评论

基于层次化神经网络模型的短文本相似度计算方法研究

基于层次化神经网络模型的短文本相似度计算方法研究

引用

作者：袁蕾武汉理工大学

学位级别：硕士

随着互联网的发展和个人移动终端的普及,互联网上产生的短文本数据快速增长,其中蕴含了大量具有价值的信息。并且,由于短文本数据的稀疏性、实时性和不规范性的特点,使得传统方法难以挖掘其中的隐含信息。基于以上原因,短文本相似度计... 详细信息

随着互联网的发展和个人移动终端的普及,互联网上产生的短文本数据快速增长,其中蕴含了大量具有价值的信息。并且,由于短文本数据的稀疏性、实时性和不规范性的特点,使得传统方法难以挖掘其中的隐含信息。基于以上原因,短文本相似度计算成为自然语言处理领域的研究热点之一。因此,探索更加有效的短文本相似度计算方法具有重要理论价值与实际应用意义。本文研究对象为英文短文本,从结构上看,短文本数据可分为单句短文本(如搜索内容、新闻标题等)和多句短文本(如推文、新闻评论、论坛观点等)。由于对单句短文本(即句子)进行相似度计算时,可以仅考虑单词和句子级别的特征;而对多句短文本进行相似度计算时,除了以上特征外,还需要考虑句子间的相互联系。因此,本文针对目前存在的短文本特征表达不全面、缺乏有效的特征提取机制以及忽视了短文本中语义层次关系等问题,从多粒度融合的短文本表征、基于EMENN的句子相似度计算、基于层次化神经网络模型的短文本相似度计算三个方面展开研究。主要工作和成果如下:(1)提出了多粒度融合的短文本表征方法分析Bert模型特点,通过融合高层编码器的隐藏状态和分析单词标记的对应关系,提取单词的语义特征;对句子进行依存句法分析,提取单词直接、间接依赖关系,并且融合位置信息,提取句子语法特征;针对短文本相似度计算任务特点,基于Word Net词典,提取短文本对的单词间同义、反义关系,获取短文本对关联特征;融合单词、句子、短文本对三种不同粒度的特征,设计了多粒度融合的短文本表征方法;并设计对比实验,结果表明使用多粒度融合的短文本表征方法能够有效提升短文本相似度计算的准确率等各项指标。(2)设计了基于EMENN的句子相似度计算方法针对传统“编码-匹配”模式的不足,提出了“编码-匹配-提取”模式,通过添加特征提取层进一步从句子对匹配结果中,提取深层语义特征,由此,构建了句子相似度计算神经网络模型EMENN。在模型编码层,设计基于注意力上下文提取的编码方法,以充分使用双向长短期记忆网络中的隐藏状态,并且合理分配编码权重;在匹配层,提出利用多种矩阵运算的匹配方式,从不同角度提取交互特征,较单角度的匹配方式,能够获取更加全面的信息;在特征提取层,设计基于Xception的特征提取方法,利用深度可分离卷积层和残差连接,高效提取匹配结果中蕴含的深层语义特征,从而提升句子相似度计算效果。并设计对比实验,结果表明基于EMENN模型的句子相似度计算方法在准确率等指标上超越了大多数模型。(3)设计了基于层次化神经网络模型的短文本相似度计算方法为了提取句子、短文本两个层次的语义信息,利用所提出的“编码-匹配-提取”模式,构建面向短文本相似度计算的层次化神经网络模型。在句子编码层,设计共享权重的编码器和3M线性池化方法,大幅减少模型参数,加快训练速度,降低数据量过大对模型造成的负担;在短文本编码层,针对多头注意力机制获得的注意力分布不全面的问题,使用四种不同的注意力计算方式进行改进,设计了多类别多头注意力机制,从不同方向对输入进行编码,提升模型的编码效果;并且,利用所构建的层次化神经网络模型,设计了短文本相似度计算方法;最后,设计了对比实验,结果表明所提出的基于层次化神经网络模型的短文本相似度计算方法在准确率等指标上均有良好表现,从而验证了该方法的可行性与有效性。

关键词：短文本表征短文本相似度计算 BiLSTM Xception 多头注意力机制

来源：评论

学校读者我要写书评

暂无评论

面向自动问答系统的短文本相似度计算

引用

信息技术与信息化 2020年第11期 200-201页

作者：黄震东南大学软件学院江苏南京211189

基于文本的自动问答系统一般包含问句处理、问句匹配和答案选取三个模块,衡量系统的重要指标(包括答案选取的效率和准确性)与问句匹配模块的相关度最高,因此从一个自动问答系统落地应用的角度出发,本文在问句匹配模块中提出了一种有监... 详细信息

基于文本的自动问答系统一般包含问句处理、问句匹配和答案选取三个模块,衡量系统的重要指标(包括答案选取的效率和准确性)与问句匹配模块的相关度最高,因此从一个自动问答系统落地应用的角度出发,本文在问句匹配模块中提出了一种有监督和无监督相结合的短文本相似度计算方案。实验部分设计了基于Siamese Network框架的短文本相似度计算与基于word2vec词向量的无监督计算方法对比,验证了有监督计算方法在准确率方面的优势。

关键词：短文本相似度计算自动问答 Siamese Network

来源：评论

学校读者我要写书评

暂无评论

结合语义和结构的短文本相似度计算

引用

计算机技术与发展 2018年第8期28卷 104-108,113页

作者：倪高伟李涛刘峥南京邮电大学计算机学院江苏南京210046

短文本相似度不仅包括语义相似度,还包括语法相似度。目前在短文本相似度度量算法中,大多只分析短文本语义层次的相似性,往往忽略了短文本的语法结构对短文本相似度的重要影响,导致无法捕获大量的文本语义信息,同时在短文本分类任务中... 详细信息

短文本相似度不仅包括语义相似度,还包括语法相似度。目前在短文本相似度度量算法中,大多只分析短文本语义层次的相似性,往往忽略了短文本的语法结构对短文本相似度的重要影响,导致无法捕获大量的文本语义信息,同时在短文本分类任务中召回率不够理想。通过分析短文本的特征,将EMD(earth mover’s distance)求解线性规划中运输问题的最优解应用于度量两个短文本的相似度,用Word2Vec度量两个单词的语义相似性,提出了词序位置相似度的概念,即在计算短文本相似度的同时考虑语句词组顺序对相似度的贡献。实验结果表明,在捕获大量文本语义信息的基础上,将算法应用于k近邻(k-nearest neighbor,KNN)文本分类中,有较好的准确率和召回率。

关键词： EMD Word2Vec 短文本相似度计算语义相似度词序结构

来源：评论

学校读者我要写书评

暂无评论

建设项目招标清单漏项检测系统设计与实现

建设项目招标清单漏项检测系统设计与实现

引用

作者：熊辩华中科技大学

学位级别：硕士

为了推进建筑行业信息化,为造价工作的某些繁琐且重复度高,技术含量低的工作“加速”和“减负”。故而对建设项目招标清单漏项检测这一实际问题进行了研究,并开发出了建设项目招标清单漏项检测系统,实现了建设项目招标清单漏项检测“一... 详细信息

为了推进建筑行业信息化,为造价工作的某些繁琐且重复度高,技术含量低的工作“加速”和“减负”。故而对建设项目招标清单漏项检测这一实际问题进行了研究,并开发出了建设项目招标清单漏项检测系统,实现了建设项目招标清单漏项检测“一键式”查询,从而尽可能地避免了招标清单漏项导致的造价管理风险和投资风险,减少了日常建筑行业生产生活中对于招标清单漏项检测所花费的大量的人力成本和时间成本。为实现建设招标清单漏项检测,首先使用Excel宏功能编写VBA代码将招标清单Excel文件的文本数据导出为招标清单文本文件,其次使用了Hanlp分词工具包中的相关功能对招标清单文本文件文本数据进行分词及去停用词处理,整合一个标段招标清单文件,当一个建设项目具有多个标段时,运用Levenshtein编辑距离算法整合一个建设项目多个标段招标清单文件,下一步综合运用Levenshtein编辑距离算法及短文本向量相似度算法来计算短文本相似度从而完成对不同建设项目的清单条目间的比对和文本分类,生成建设项目招标清单标准数据库进而完成建设项目招标清单漏项检测的任务。为实现建设项目招标清单漏项检测“一键式”查询,开发了基于B/S架构的建设项目招标清单漏项检测系统,用户登录系统后,输入等待检测的建设项目招标清单项目类型信息和招标清单文件本地路径后,可迅速查询得到建设项目招标清单漏项检测结果,漏检准确率可达到85.7%。为建设项目造价管理决策者在审核招标清单准确性时提供一定的参考。

关键词：建筑行业信息化招投标招标清单漏项检测短文本相似度计算

来源：评论

学校读者我要写书评

暂无评论

无监督和有监督的短文本相似度研究及应用

无监督和有监督的短文本相似度研究及应用

引用

作者：倪高伟南京邮电大学

学位级别：硕士

随着搜索引擎、社交网络以及聊天机器人等应用场景的发展和普及,短文本相似度计算在信息检索、文本分类、智能问答和机器翻译等研究和应用中发挥着重要的作用。传统的文本向量化方法更加适用于长文本,对于稀疏、高噪音的短文本不能达到... 详细信息

随着搜索引擎、社交网络以及聊天机器人等应用场景的发展和普及,短文本相似度计算在信息检索、文本分类、智能问答和机器翻译等研究和应用中发挥着重要的作用。传统的文本向量化方法更加适用于长文本,对于稀疏、高噪音的短文本不能达到满意的效果。近年来,随着神经网络语言模型的广泛应用,文本信息处理方式可以从传统的高维稀疏向量空间转化成低维词向量空间,这为短文本相似度计算提供新的思路。本文提出了一种无监督的短文本相似度计算方法,将Earth Mover’s Distance(EMD)求解线性规划中运输问题的最优解应用于度量两个短文本的相似度,用Word2Vec度量单词的语义距离,提出了词序位置相似度的概念,即在EMD模型单词移动中考虑单词的相对位置关系,使得最终的短文本相似度计算模型在k近邻文本分类任务中具有较高的准确率、召回率和F1值。同时提出了一种有监督的短文本相似度计算方法,构建两个垂直方向完全一样的Convolutional Neural Networks(CNN)模型,将基于Word2Vec短文本语义扩展矩阵作为CNN输入,经过全连接层处理产生高级语义向量,最后激活层采用Sigmoid输出属于某类的概率,用于判别短文本是否相似。并将短文本相似度计算模型应用于“Quora Question Pairs”数据集上,取得了较好的实验效果。本文将短文本相似度计算方法应用于运营商网络故障工单质检任务中,设计了基于短文本相似度计算的工单质检流程,开发了基于B\S架构的工单智能质检系统。实际的运行结果表明本系统的性能可以较好地满足运营商日常的质检需求。

关键词：短文本相似度计算 EMD 深度学习语义扩展网络运维

来源：评论

学校读者我要写书评

暂无评论

基于排序学习的问答系统研究

基于排序学习的问答系统研究

引用

作者：李伟宁南京邮电大学

学位级别：硕士

互联网海量数据的可访问性和可用性极大地推动了信息获取技术的研究。但是,网络资源的不断膨胀,导致人们无法快速地获取所需信息。基于此,问答系统应运而生,在医疗、教育、商业、旅游业等领域得到了广泛应用。对用户查询问题的若干答案... 详细信息

互联网海量数据的可访问性和可用性极大地推动了信息获取技术的研究。但是,网络资源的不断膨胀,导致人们无法快速地获取所需信息。基于此,问答系统应运而生,在医疗、教育、商业、旅游业等领域得到了广泛应用。对用户查询问题的若干答案以排序的方式展示给用户,不仅能提高用户体验,也能促进问答系统的进一步发展。传统的答案排序只考虑单一的特征作为排序标准,或者对特征的权值设置不合理,导致答案排序性能不理想。为了解决这个问题,本文对问题和答案的初级特征和高级特征的提取展开深入研究,旨在从特征的角度考虑问题和答案之间的内在关联。然后,进行归一化与基于排序学习算法隐含的特征选择处理,消除特征之间的量级影响,减少冗余特征与噪声。以初级文本特征和高级文本特征为输入,通过ListWise型排序学习方法得到特征的权值,用于优化排序结果。目前,在计算问句这样的短文本相似度时,大多数以词频为基础,简单利用余弦法进行计算会制约运算的精度且存在维数灾难。本文针对上述问题,采用word2vec分布式词向量短文本表示方法,并将问答系统中涉及的相似度计算分为两类,一类是计算不同问题之间的相似度,即短文本相似度计算;另一类是计算给定问题与其所有候选答案的相似度。在词向量空间中引入EMD距离特征,计算文本中所有的词移动到另一文本对应的词需要的最小移动距离,使用融合多特征的混合策略来提高相似度计算的准确性。为了增强问答系统的模糊匹配能力,通过扩展问句关键词来提高相似问句的召回率。考虑到系统的准确度和效率,主要针对句子关键词中的名词和动词进行扩展。最后,通过系统的实现,对用户问题的候选答案进行相关度排序展示,验证了本文的相关改进方法在实践中是可行的。

关键词：问答系统排序学习特征处理词向量短文本相似度计算

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：