检索结果-内蒙古大学图书馆

作者：刘彦志北京邮电大学

学位级别：硕士

随着互联网、云计算等信息技术的迅猛发展,整个信息社会已进入大数据时代。网络大数据在规模与复杂度上快速增长,这些数据中蕴含了大量有价值的信息。谷歌、百度等传统搜索引擎能帮助用户较快地检索利用这些信息,但只能对其进行一些简... 详细信息

随着互联网、云计算等信息技术的迅猛发展,整个信息社会已进入大数据时代。网络大数据在规模与复杂度上快速增长,这些数据中蕴含了大量有价值的信息。谷歌、百度等传统搜索引擎能帮助用户较快地检索利用这些信息,但只能对其进行一些简单的筛选和排序。相比传统搜索引擎,问答系统能直接给出相应的回答,其中,知识图谱问答系统利用结构化知识源,能给出更加精准简洁的答案。近年来深度学习迅速发展,序列到序列框架在自然语言处理任务上已取得较好的效果。将自然语言问句映射为特定的查询语句是知识图谱问答的关键任务,这是一个序列到序列的过程。本文设计并实现了基于序列到序列框架的知识图谱问答系统。本文系统主要分为Web服务模块、问题处理模块、答案推导模块、答案生成模块、知识图谱存取模块和日志与存储模块。在实现答案推导模块时,针对复杂计数问题,本文设计并实现了一种改进的基于序列到序列框架的知识图谱问答方法。该方法包括编码和解码两个阶段,在编码阶段,结合基于卷积神经网络的文本分类模型进行多任务学习,约束问句的编码过程;在解码阶段,利用“键-字典”存储机制,在推导过程中与知识图谱实时交互,将自然语言问句映射为自定义查询语句,实现含计数信息的答案推导。此外,为了解决监督数据不足的问题,针对序列到序列框架的知识图谱问答算法,本文提出了基于对偶学习的训练方式,利用知识图谱中抽取出来的无监督信息,优化知识图谱问答算法。本文针对提出的基于序列到序列框架的知识图谱问答方法,在公开数据集WebQuestionSP上进行了测试。实验结果表明,与现有工作相比,本文提出的方法解决了复杂计数问题,提升了知识图谱问答的准确性,并在一定程度上解决了监督数据不足的问题。

关键词：知识图谱问答序列到序列框架复杂计数问题对偶学习

来源：评论

学校读者我要写书评

暂无评论

融合序列到序列框架与生成对抗网络的文本摘要模型研究

融合序列到序列框架与生成对抗网络的文本摘要模型研究

引用

作者：胡成春华中科技大学

学位级别：硕士

在因互联网飞速发展导致的信息过载时代,自动文本摘要对于人们快速检索有效信息起着巨大的作用.文本摘要技术有抽取式摘要和生成式摘要两种,本文主要研究难度更大、生成摘要质量更好的生成式摘要技术.现有的生成式摘要是基于序列到序列... 详细信息

在因互联网飞速发展导致的信息过载时代,自动文本摘要对于人们快速检索有效信息起着巨大的作用.文本摘要技术有抽取式摘要和生成式摘要两种,本文主要研究难度更大、生成摘要质量更好的生成式摘要技术.现有的生成式摘要是基于序列到序列结合注意力机制框架进行的,这种框架一般可以生成较短的质量尚可的摘要,但仍然存在着一些不足.比如,在生成较长的摘要时,生成的摘要容易出现单词或者短语的重复、有时会出现语法、语义不通顺等情况.针对这些问题,一方面,我们在上述框架下提出了一种解码器-指针网络结构,额外训练一个指针网络,其作用是从源文本中的某个位置复制合适的单词到当前时间步的输出,这种复制机制通过参数的调节与优化可以自动进行训练学习.另一方面,我们提出了一种覆盖率检测机制来解决摘要中单词、短语经常重复生成的问题,其主要的思想是引入了时间步的注意力权重分布之和作为覆盖率向量,通过抑制某一个维度注意力分布,加入一个覆盖率损失函数到目标函数,巧妙地解决了注意力集中在某几个单词的情况,缓解了生成的摘要出现重复的情况.由于生成对抗网络的结构可以让生成网络和对抗网络在互相对抗的过程中同步演化,让生成网络的输出非常接近真实的样本.基于此,我们将改进之后的序列到序列网络作为生成网络,引入了词向量模型加上卷积网络架构的摘要文本分类器作为鉴别网络,二者不断对抗、迭代,最终生成高质量的摘要.为了验证本文模型的有效性与优越性,我们选择了在Gigaword、DUC2003以及CNN/Daily Mail三个标准数据集上进行生成摘要的数值实验,选择了ROUGE-1,ROUGE-2,ROUGE-L三种指标进行摘要质量的评估.实验结果表明,本文的模型在三个质量评估指标上均得到了不同程度的提升.

关键词：文本摘要序列到序列框架注意力机制解码器-指针覆盖率检测生成对抗网络

来源：评论

学校读者我要写书评

暂无评论

基于序列到序列框架的自动文摘技术研究

基于序列到序列框架的自动文摘技术研究

引用

作者：李金鹏中国科学院大学

学位级别：硕士

近年来，互联网技术的蓬勃发展极大地便利了人类的日常生活，不可避免的是海量信息呈井喷式爆发，在此情景下如何快速有效地获取所需信息显得极为重要。自动文本摘要技术作为自然语言处理和人工智能领域的重要研究内容之一，可以有效缓... 详细信息

近年来，互联网技术的蓬勃发展极大地便利了人类的日常生活，不可避免的是海量信息呈井喷式爆发，在此情景下如何快速有效地获取所需信息显得极为重要。自动文本摘要技术作为自然语言处理和人工智能领域的重要研究内容之一，可以有效缓解该问题。除此之外，自动文摘在内容检测、信息检索、舆情分析等领域皆具有较高的研究价值。目前在自动文摘的算法上，序列到序列框架是主流的生成方法，但是该方法仍存在曝光偏差、生成错误单词无法修正、对长文本不友好等众多问题亟需解决。　　本文主要针对基于序列到序列框架的生成式自动文摘模型进行研究。从人类的阅读机制出发，提出了一个迭代式自动文摘模型，融入强化学习来平衡训练与测试阶段不一致的问题，并设计融合注意力机制模型来提高模型处理长文本的能力，具体的研究内容如下:　　1.本文针对如何提升编码器文档建模能力和解码器润色摘要能力的问题，提出一种基于迭代式信息表示的生成式自动文摘模型。以迭代编码器-解码器为基础，使模型可以学习到原文中的主要信息、减少“噪声”，并通过原文的语义向量和解码端预测的粗略摘要进行加权计算得到综合向量表示，在不断的迭代过程中润色摘要，使其模仿人类的阅读策略。此外，我们利用策略梯度方法来缩小生成摘要和真实摘要之间的差距，进而使模型生成高质量的摘要。　　2.本文针对如何提升模型捕获长文本语义信息能力的问题，提出一种基于融合注意力机制的生成式自动文摘模型。该模型基于指针网络生成模型，将多头注意力机制融合到指针网络中，充分利用自注意力机制，根据任务特点调整注意力机制权重，使模型更好地利用监督信息，增加其捕获原始长文本语义的能力，缓解随着序列长度增加导致的模型性能下降问题。　　3.针对目前自动文摘资源匮乏的问题，本文收集整理了一个中文长文本自动文摘数据集，并设计和实现了一个融合长文本、短文本的自动文摘生成引擎。　　本文提出的基于迭代式信息表示的生成式自动文摘模型很好的缓解了解码端不能修改错误单词的问题，基于融合的注意力机制能在长文本上实现优异的性能。我们整理的长文本数据集和自适应自动文摘引擎具有极强的应用性，为自动文摘的研究发展提供助力。本文的工作有效地提高了生成式自动文摘模型的性能，帮助用户在大数据时代下快速提炼信息、获取所需内容。

关键词：生成式自动文摘序列到序列框架迭代式模型强化学习注意力机制

来源：评论

学校读者我要写书评

暂无评论

三阶段改进型seq2seq的表格到文本生成方法

引用

计算机应用与软件 2025年

作者：张一弛王一帆周耀卜凡亮中国人民公安大学信息网络安全学院

为改善现有表格到文本生成模型存在的一些共性问题，提出一种三阶段改进型seq2seq模型，分三个阶段进行表格到文本生成工作，第一阶段借助BiLSTM和CRF标注表格的记录单元，筛选出构成文本的关键记录单元；第二阶段使用结构感知的LSTM单... 详细信息

为改善现有表格到文本生成模型存在的一些共性问题，提出一种三阶段改进型seq2seq模型，分三个阶段进行表格到文本生成工作，第一阶段借助BiLSTM和CRF标注表格的记录单元，筛选出构成文本的关键记录单元；第二阶段使用结构感知的LSTM单元同时编码表格的结构信息和记录内容；第三阶段利用指针网络进行顺序规划，并融合复制机制进行解码和预测。实验部分在ROTOWIRE和MLB数据集上对模型进行性能评估，并对比了一些经典和先进方法，实验结果显示，该模型综合性能更好，在多项关键指标上取得更高的得分，可以在一定程度上同时改善多个共性问题。此外，研究基于北京大兴国际机场的官方应急文档构建了个人数据集，将模型应用在突发事件处置发方案的自动生成中，取得了较为理想的效果。

关键词：表格到文本生成序列到序列框架 LSTM 结构感知顺序规划应急预案

来源：评论

学校读者我要写书评

暂无评论

基于循环神经网络的对话系统记忆机制

引用

计算机工程与设计 2019年第11期40卷 3259-3264页

作者：易炜何嘉邹茂扬成都信息工程大学计算机学院

针对基于循环神经网络(recurrent neural network,RNN)的对话系统缺乏上下文记忆能力的问题,提出一种带有额外记忆能力模块的深度学习模型。以序列到序列框架为基础,增加一个基于双向循环神经网络(Bi-directional RNN)和全连接神经网络... 详细信息

针对基于循环神经网络(recurrent neural network,RNN)的对话系统缺乏上下文记忆能力的问题,提出一种带有额外记忆能力模块的深度学习模型。以序列到序列框架为基础,增加一个基于双向循环神经网络(Bi-directional RNN)和全连接神经网络的记忆选择模块。通过把当前对话和上下文输入到记忆选择模块中得到一个选择值,比较选择值与阈值决定是否把上下文语句也加入到当前对话的序列到序列结构的编码端,使模型在需要使用上下文信息的时候可以选择性地获取,使得模型具备记忆能力。实验结果表明,使用相同的语料库进行训练,加入了记忆能力模块的模型相比没有记忆能力的模型明显具备了结合上下文的记忆能力,可以生成更准确的回复。

关键词：对话系统记忆机制序列到序列框架循环神经网络双向循环神经网络

来源：评论

学校读者我要写书评

暂无评论

基于注意力Seq2Seq模型的终端区航空器航迹预测

引用

科学技术与工程 2024年第9期24卷 3882-3895页

作者：卢婷婷刘博李纯柱中国民航大学空中交通管理学院天津300300 中国民用航空华北地区空中交通管理局天津分局天津300300

为充分挖掘机场终端区航空器航迹时间依赖性,解决中长期、多步长航迹预测精度不稳定的问题,引入注意力机制(attention mechanism)和教师监督(teacher forcing)中的指数衰减(exponential decay)采样方法,提出了一种基于序列到序列框架的... 详细信息

为充分挖掘机场终端区航空器航迹时间依赖性,解决中长期、多步长航迹预测精度不稳定的问题,引入注意力机制(attention mechanism)和教师监督(teacher forcing)中的指数衰减(exponential decay)采样方法,提出了一种基于序列到序列框架的机场终端区航迹预测模型(Seq2Seq-attention mechanism-exponential decay,SAE)。序列到序列框架实现了多步长预测,注意力机制提高解码器预测精度,指数衰减采样方法加速了训练阶段模型收敛,在一定程度上提高了模型的泛化性。最后,为了验证提出方法的有效性,利用天津终端区28架次、90 d ADS-B航迹数据构建原始数据集,以平均绝对误差(mean squared error,MAE)和均方根误差(root mean squared error,RMSE)作为模型性能评价指标,进行了航迹预测实验,实验结果表明:高度、经度和纬度在序列到序列框架中的循环神经网络分别采用LSTM、GRU和LSTM可以获得最好预测性能;以4种预测长度1、3、5和10 min进行建模,与基线模型中预测性能最好的结果比较,所提出方法在验证集上的高度、经度和纬度指标表现最优,10 min预测窗口下的平均绝对误差分别降低了66.30%、54.62%和36.59%,均方根误差分别降低了65.45%、38.16%和20.57%,同时,上述4种预测时长下所提出方法预测结果的均值和方差最小,表明随着预测时长的增加,模型预测结果的稳定性最好。此外,引入的注意力机制与指数衰减采样方法对有效捕捉航迹时间依赖性、提高模型泛化性均具有积极的贡献。

关键词：航空运输航迹预测终端区序列到序列框架注意力机制

来源：评论

学校读者我要写书评

暂无评论

DAPC:结合双注意力和指针覆盖的文本摘要模型

引用

计算机工程与应用 2020年第8期56卷 149-157页

作者：张敏曾碧卿韩旭丽徐如阳华南师范大学计算机学院广州510631 华南师范大学软件学院广东佛山528225

基于注意力机制的序列到序列模型在生成式摘要方法中得到广泛应用,并取得较好的表现。但现有模型方法生成的摘要普遍存在语义无关、句内重复和未登录词等问题。为了解决这些问题,在典型基于注意力机制的序列到序列模型基础上,提出了结... 详细信息

基于注意力机制的序列到序列模型在生成式摘要方法中得到广泛应用,并取得较好的表现。但现有模型方法生成的摘要普遍存在语义无关、句内重复和未登录词等问题。为了解决这些问题,在典型基于注意力机制的序列到序列模型基础上,提出了结合双注意力和指针覆盖机制的生成式文本摘要方法DAPC(Dual Attention and Pointer-Coverage based model)模型。组合局部注意力和卷积神经网络,提取输入文本的更高层次的语言特征;引入指针-生成网络来解决未登录词问题;使用覆盖机制解决模型生成摘要句内重复的问题。实验结果表明,模型在CNN/Daily Mail数据集中有较好的表现。

关键词：生成式文本摘要局部注意力序列到序列框架覆盖机制

来源：评论

学校读者我要写书评

暂无评论

基于Sea2Sea的类别增强对话模型研究

基于Sea2Sea的类别增强对话模型研究

引用

作者：陈振舜桂林电子科技大学

学位级别：硕士

对话系统(Dialog System)，也称作会话代理(Conversational Agent)，旨在通过文字或语音形式让人类与计算机系统进行交流，是自然语言处理(Natural Language Processing，NLP)领域中的重要研究方向之一。　　近年来，随着深度学习技术... 详细信息

对话系统(Dialog System)，也称作会话代理(Conversational Agent)，旨在通过文字或语音形式让人类与计算机系统进行交流，是自然语言处理(Natural Language Processing，NLP)领域中的重要研究方向之一。　　近年来，随着深度学习技术的发展，使用神经网络构建生成式对话模型的方式受到了大量研究者的关注。其中，基于循环神经网络的序列到序列(Sequence to Sequence，Seq2Seq)框架在对话生成研究中具有广泛的应用。该方法的优点在于完全依靠数据驱动学习对话规则，避免了人工规则和特征工程的繁琐过程。并且神经网络对话模型产生的内容不局限于语料中存在的句子，比传统方法更适用于构建开放域(Open-domain)的对话系统。　　然而，基于Seq2Seq框架的对话模型在实践中也存在一些问题。其中，倾向于生成无意义的通用型回答是这类模型的主要问题之一。为了改善这一问题，本文在现有研究的基础上，探索了在Seq2Seq对话模型中引入语言的类别信息，使模型生成语义更丰富的对话内容。本文的主要研究工作可以概括为以下两个部分：　　第一，在Seq2Seq框架的基础上，提出了基于类别增强的对话模型。该模型将语言的类别信息，例如情感、意图等类别引入到模型的解码过程中。采用前馈神经网络构建类别编码器，将类别信息转化为向量的表示形式，并引入了作用于类别的注意力机制(Attention Mechanism)，用于调节类别信息在解码过程中的影响，类别编码结果将直接作用于每一步的解码过程，从而使模型生成与指定类别相关的对话内容，缓解了频繁生成通用型回答的问题。此外，在类别增强模型的基础上进一步探索了多类别融合的方法，在对话模型中引入了多种类别信息，用于提高对话模型生成结果的多样性和可控性。　　第二，为了提高模型生成回答与对话输入的内容相关性，实现了基于检索模型的重排序方法。利用检索模型计算原始候选集中每个回答与对话输入的相关性，依据相关性对候选集重新排序，使得排序结果中靠前的对话与输入具有更高的相关性。并且采用了多样性增强的解码策略，用于避免候选集中内容过于相近的问题。

关键词：类别增强对话序列到序列框架循环神经网络注意力机制重排序方法

来源：评论

学校读者我要写书评

暂无评论

复杂场景不规则文本识别算法研究

复杂场景不规则文本识别算法研究

引用

作者：李豪杰华南理工大学

学位级别：硕士

识别文本图像是计算机视觉领域的一个重要研究课题。随着深度学习理论技术的发展,对于背景简单且规则的场景文本,人们已提出比较成熟的基于深度神经网络的解决方案,其结果明显优于基于手工特征的解决方案。伴随互联网规模和多媒体信息... 详细信息

识别文本图像是计算机视觉领域的一个重要研究课题。随着深度学习理论技术的发展,对于背景简单且规则的场景文本,人们已提出比较成熟的基于深度神经网络的解决方案,其结果明显优于基于手工特征的解决方案。伴随互联网规模和多媒体信息的不断发展和膨胀,文字也出现在各类复杂场景中,例如,街景、商品包装、拍照表单、交通引导等。这些场景背景复杂,文字多样,图像质量低,因此,研究者逐渐开始关注现实生活中经常出现且理解难度较大的复杂场景下不规则文本识别任务。现有自然场景文本识别技术多是基于序列模式的深度卷积网络和循环神经网络结合的编码解码模型。虽然这一技术取得了较好的结果,但是在解决复杂场景不规则的文本上仍然存在如下问题:第一,这种基于序列到序列的场景文本识别方法,虽将上下文建模视为其实现更好性能的关键组成部分,但是,他们通常只考虑在单一维度上整体或单尺度局部序列上下文依赖关系。事实上,场景文本或序列上下文可以在二维(2-D)空间中较为自由的样式多尺度跨越,而不仅局限于一维方向单一尺度。各种尺度的上下文感知将有助于复杂场景文本识别,特别对不规则文本的识别。第二,场景文本识别中的关键挑战是如何适当地捕获和利用丰富的上下文信息来消除场景文本解释的歧义。卷积神经网络(CNN,Convolutional Neural Network)和递归神经网络(RNN,Recurrent Neural Network)的最新发展带来了识别器上下文建模能力的提高。但是,这些方法与实际视觉神经元所涉及的上下文调制过程之间仍然存在很大差距,因为这些方法在特征提取阶段很难自适应地获得从局部到全局的多尺度上下文信息。1.提出基于二维多尺度感知上下文的场景文本识别算法。在此算法中,我们以二维方式考虑上下文,同时考虑从局部到全局的全尺度的上下文推理。为此,我们先构建一个新的二维多尺度感知上下文(TDMSPC,Two-Dimensional Multi-Scale Perceptive Context)模块,该模块沿水平和垂直方向进行多尺度上下文学习,然后将多尺度上下文信息合并。这可以生成与形状和字符排列相适应的特征图,以解决场景文本识别中不规则文本难题。在模块设计的基础上,我们将此模块插入到现有基于序列的框架中,以替换其集中上下文学习机制。此外,通过使用TDMSPC模块作为上下文强化编码的基本功能块重新构建新的识别编码网络,并采用基于注意力机制的LSTM作为解码器,构建了一个全新的场景文本识别系统TDMSPC-Net。在基准数据集上的实验表明,TDMSPC模块可以大大提高现有基于序列的场景文本识别系统性能。提出的全新识别系统TDMSPC-Net在所有基准数据集上都取得了到最佳性能。2.提出环境适应性上下文调制算法。针对当前不规则场景文本需要依赖更强的上下信息提取,而当前上下文信息建模和人类视觉神经元的上下文调制机制之间存在很大差距。因此,受启发于神经科学的上下文调制机理,论文尝试在场景文本识别网络设计中实现视觉神经元的上下文调制机制。具体地,设计了一个轻量级尺度感知上下文调制(SACM,Scale-Aware Context Modulation)模块,该模块由两个主要部分组成。第一部分是类递归扩张式卷积单元,使用扩张卷积捕获不同尺度的上下文信息,并且使用类似递归结构的网络进行多层连接设计,以实现在多尺度上下文中更好的语义一致性对齐。第二部分是基于通道的尺度注意力单元,利用通道注意力机制进行上下文尺度选择,以实现输入特征图按点的上下文调制。进一步将SACM模块插入成熟多语义阶段的卷积神经网络中,构建了具有上下文调制编码器和2D注意力增强的RNN解码器的场景文本识别系统。标准数据集上的实验表明,所提出的方法在常规和不规则文本方面均取得最佳识别性能。除此之外,利用提出的模块进行了轻量化复杂场景不规则文本识别网络的设计探索,取得相比同等规模识别网络明显的性能优势,为应用落地或者移植到移动终端奠定了算法基础。

关键词：场景文本识别序列到序列框架两方向上下文多尺度感知上下文调制注意力机制尺度自适应

来源：评论

学校读者我要写书评

暂无评论

基于深度注意力模型的问答系统

基于深度注意力模型的问答系统

引用

作者：陈明南京邮电大学

学位级别：硕士

随着互联网技术的不断发展,人工智能也成为了一个热门课题,而智能问答系统也是人工智能领域里的一个研究热点。网络技术的发展也带来了整个互联网信息量的爆炸式增长,问答系统可以帮助用户可以从繁杂的信息中找到自己所需要的;同时,在... 详细信息

随着互联网技术的不断发展,人工智能也成为了一个热门课题,而智能问答系统也是人工智能领域里的一个研究热点。网络技术的发展也带来了整个互联网信息量的爆炸式增长,问答系统可以帮助用户可以从繁杂的信息中找到自己所需要的;同时,在电商网络领域,智能问答系统的研究可以帮助提高智能客服的准确性,具有很好的实际应用价值。目前,对于传统的问答系统研究大都采用基于检索匹配等方式,该方法存在着对不同场景的适应性欠佳、对上文的语义信息无法捕获等缺点,没有可迁移性。因此,针对上述不足,本文提出了基于深度学习和注意力模型的智能问答系统。本文主要提出对于文本语句的语义特征采用Word2Vec进行处理,并利用双向长短时记忆网络(Bi-directional Long Short Term Memory,Bi-LSTM)获取语句的时序信息。同时,为了获得文本语句的主题信息,提出在模型训练时融合注意力模型。在对收集好的数据进行预处理后,建立对应的问答文档,采用序列到序列框架进行训练,以获得问句与答句之间的匹配关系,进而可以为用户输入的问题生成相匹配的答案。在实验中,本文采用了N-gram模型对得到的实验结果进行系统的评价,通过计算生成的答案里不同2-gram数目占整个数据集中2-gram的比例,确定生成答案的语义多样性。同时,设置对照实验,分别对基于双向长短时记忆网络、基于长短时记忆网络和注意力模型的问答系统的实验结果进行对比分析。最终的实验结果表明,本文提出的引入注意力模型和Bi-LSTM的模型可以有效地提升问答系统回答的准确性。

关键词：问答系统双向长短时记忆网络注意力模型序列到序列框架

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：