检索结果-内蒙古大学图书馆

情报工程 2020年第5期6卷 27-40页

作者：王雅松刘明童马彬彬张玉洁徐金安陈钰枫北京交通大学计算机与信息技术学院北京100044

复述指同一语言内相同意思的不同表达,复述生成指同一种语言内意思相同的不同表达之间的转换,是改进信息检索、机器翻译、自动问答等自然语言处理任务不可或缺的基础技术。目前,复述生成模型性能都依赖于大量平行的复述语料,而很多语言... 详细信息

复述指同一语言内相同意思的不同表达,复述生成指同一种语言内意思相同的不同表达之间的转换,是改进信息检索、机器翻译、自动问答等自然语言处理任务不可或缺的基础技术。目前,复述生成模型性能都依赖于大量平行的复述语料,而很多语言并没有可用的复述资源,使得复述生成任务的研究无法开展。针对复述语料十分匮乏的问题,我们以汉语为研究对象,提出基于多翻译引擎的复述平行语料构建方法,将英语复述平行语料迁移到汉语,构建大规模高质量汉语复述平行语料,同时构建有多个参考复述的汉语复述评测数据集,为汉语复述生成的研究提供一定的基础数据。基于构建的汉语复述语料,我们进一步对汉语复述现象进行总结和归纳,并进行复述生成研究。我们构建基于神经网络编码-解码框架的汉语复述生成模型,采用注意力机制、复制机制和覆盖机制解决汉语复述生成中的未登录词和重复生成问题。为了缓解复述语料不足导致的神经网络复述生成模型性能不高的问题,我们引入多任务学习框架,设计联合自编码任务的汉语复述生成模型,通过联合学习自编码任务来增强复述生成编码器语义表示学习能力,提高复述生成质量。我们利用联合自编码任务的复述生成模型进行汉语复述生成实验,在评测指标ROUGE-1、ROUGE-2、BLEU、METEOR上以及生成汉语复述实例分析上均取得了较好性能。实验结果表明所构建的汉语复述平行语料可以有效训练复述生成模型,生成高质量的汉语复述句。同时,联合自编码的汉语复述生成模型,可以进一步改进汉语复述生成的质量。

关键词：复述语料构建汉语复述现象分类复述生成多任务学习自编码任务

来源：评论

学校读者我要写书评

暂无评论

基于神经网络的复述生成方法研究

基于神经网络的复述生成方法研究

引用

作者：马彬彬北京交通大学

学位级别：硕士

复述是指同一语言内语义相同的不同表达形式,同一意思不同的人会有不同的表达,这反映了自然语言的灵活多样性,但却成为自然语言处理的瓶颈。为解决这一瓶颈问题,复述生成关注同一语义下不同表达形式之间的转换,旨在将给定的句子转换成... 详细信息

复述是指同一语言内语义相同的不同表达形式,同一意思不同的人会有不同的表达,这反映了自然语言的灵活多样性,但却成为自然语言处理的瓶颈。为解决这一瓶颈问题,复述生成关注同一语义下不同表达形式之间的转换,旨在将给定的句子转换成多个语义相同的不同句子,可提高自然语言生成模型的鲁棒性,被广泛应用于机器翻译、自动问答、文本文摘等自然语言处理任务。目前复述生成研究面临以下三个问题:(1)基于编码-解码神经网络框架的复述生成方法存在未登录词无法生成、低频词生成不准确以及词汇重复生成等问题;(2)复述平行语料的有限规模限制了编码器的语义表示学习能力,成为性能提升的阻碍;(3)汉语复述语料十分匮乏,导致难以开展汉语复述生成的研究。本文针对现有基于神经网络复述生成方法存在的问题,借鉴多种典型神经网络模型的优势,引入注意力机制、复制机制、覆盖机制和多任务学习框架;利用自然语言处理技术构建汉语复述平行语料,并在构建的语料上开展汉语复述生成研究。本文的主要研究内容和贡献包括以下三个方面。(1)设计实现多机制融合的神经网络复述生成模型。已有复述生成模型中低频词和未登录词生成不准确,导致信息严重缺失;在解码时未能考虑历史决策信息,导致相同词汇反复出现。对此,我们在已有模型中引入复制机制和覆盖机制,实现多机制融合的神经网络复述生成模型。本文分别在公开数据集Quora和MSCOCO上训练模型,进行各机制贡献度的评测。实验结果显示,与基线模型相比,本文的模型在Quora上ROUGE-1、ROUGE-2、BLEU和METEOR指标分别提高4.18%、4.25%、4.08%和3.19%,在解决未登录词、低频词以及词汇重复问题上效果显著,验证了多机制融合的复述生成模型的有效性。(2)提出联合自编码任务的神经网络复述生成模型。复述平行语料的有限规模限制了已有模型的语义表示学习能力,导致复述句的生成质量不高。对此,我们在多任务学习框架中联合复述生成任务和自编码任务,两个任务共享一个编码器学习语义表示,从而增强编码器的语义表示学习能力。本文分别利用Quora和MSCOCO训练模型,将上述多机制融合模型作为基线模型,进行对比评测。实验结果显示,与基线模型相比,联合自编码任务的模型在Quora数据集上ROUGE-1、ROUGE-2、BLEU和METEOR指标分别提高1.32%、2.04%、1.12%和0.82%,验证了该模型的有效性。(3)提出基于多翻译引擎的汉语复述平行语料构建方法。汉语复述语料十分匮乏,阻碍了汉语复述研究的开展。考虑到英语具有丰富的复述资源,我们利用成熟的机器翻译技术提出基于多翻译引擎的汉语复述语料构建方法,首次构建得到260k的汉语复述平行语料。在此基础上,我们开展汉语复述现象的研究,总结出13种汉语复述现象,其中有3种属于汉语独有,说明汉语复述研究的特殊意义。随后我们利用构建的汉语复述语料以及上述神经网络模型,得到汉语复述生成模型;评测结果显示在多参考复述评测集上ROUGE-1、ROUGE-2、BLEU和METEOR指标分别达到53.59%、27.03%、62.23%和37.18%,表明本文提出的复述语料构建方法对汉语复述生成研究的推进具有一定意义,同时再一次证明了本文提出的复述生成神经网络模型的有效性。针对已有复述生成模型的缺陷,本文设计实现多机制融合的神经网络复述生成模型解决了未登录词、低频词和词汇重复的问题;提出联合自编码任务的复述生成模型提高了模型语义表示学习能力;构建大规模汉语复述平行语料,开展汉语复述现象和汉语复述生成研究;并在国际公开数据集上开展对比评测,验证了本文所提模型和方法的有效性。

关键词：复述生成多机制融合多任务学习编码-解码框架自编码任务汉语复述平行语料构建深度神经网络

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：