基于预训练模型的模块化可控文本生成优化方法

作     者：黄洪 

作者单位：天津大学 

学位级别：硕士

导师姓名：王赞;董旭源

授予年度：2021年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：可控文本生成 预训练模型 情感生成 主题生成 

摘      要：文本生成是自然语言处理中的一项重要任务。近年来,随着基于神经网络的深度学习快速发展,应用神经网络的语言模型已经占据了自然语言生成方法的统治地位。又由于社交媒体上海量的数据被广泛的用于训练神经网络模型,深度预训练模型应运而生,已经在多个自然语言处理的下游任务中得到广泛应用。但随着预训练模型在实际工程中的广泛应用,控制预训练模型快速生成属性可控的文本成为亟待解决的问题。当下文本的可控生成领域的方法大体可以分为三类:(1)基于引导解码进行文本生成方法可以在解码时通过融合替换的方式生成文本,但生成的文本句意僵硬,可能出现语法错误。(2)基于特定领域的文本生成通过从零训练一个针对特定数据的大型预训练模型,进行特定属性的文本生成,但训练成本较高,泛用性不强。(3)简单的微调语言模型可以生成特定属性文本,但需要对深度学习模型进行深入细致地微调才能达到预期的效果。基于以上问题,本文应用梯度回传方法和残差模块提出了一种基于预训练模型实现快速、可控的文本生成组合框架模型。主要研究成果如下:(1)本文提出了一个可以实现快速、可控的文本生成组合框架模型。在大规模预训练模型的基础上,搭建以预训练模型为主体,结合梯度回传方法和残差模块分别控制生成文本的属性和生成时间的组合模型。同时由于预训练模型与属性模型可以自由搭配,本文所提出的组合框架模型具备了快速、可控且泛用性强的文本生成能力。(2)基于提出的组合框架模型在情感与主题两个目标属性上成功的实现快速文本生成。分别应用长文本和短文本预训练模型在情感和主题两个属性上进行实验。实验结果说明本文提出的组合框架模型能实现不同预训练模型和属性模型的即插即用,生成目标属性文本的平均准确率能达到81%,生成文本的时间平均减少78%。