检索结果-内蒙古大学图书馆

计算机应用与软件 2025年

作者：张一弛王一帆周耀卜凡亮中国人民公安大学信息网络安全学院

为改善现有表格到文本生成模型存在的一些共性问题，提出一种三阶段改进型seq2seq模型，分三个阶段进行表格到文本生成工作，第一阶段借助BiLSTM和CRF标注表格的记录单元，筛选出构成文本的关键记录单元；第二阶段使用结构感知的LSTM单... 详细信息

为改善现有表格到文本生成模型存在的一些共性问题，提出一种三阶段改进型seq2seq模型，分三个阶段进行表格到文本生成工作，第一阶段借助BiLSTM和CRF标注表格的记录单元，筛选出构成文本的关键记录单元；第二阶段使用结构感知的LSTM单元同时编码表格的结构信息和记录内容；第三阶段利用指针网络进行顺序规划，并融合复制机制进行解码和预测。实验部分在ROTOWIRE和MLB数据集上对模型进行性能评估，并对比了一些经典和先进方法，实验结果显示，该模型综合性能更好，在多项关键指标上取得更高的得分，可以在一定程度上同时改善多个共性问题。此外，研究基于北京大兴国际机场的官方应急文档构建了个人数据集，将模型应用在突发事件处置发方案的自动生成中，取得了较为理想的效果。

关键词：表格到文本生成序列到序列框架 LSTM 结构感知顺序规划应急预案

来源：评论

学校读者我要写书评

暂无评论

深度学习的表格到文本生成研究综述

引用

计算机科学与探索 2022年第11期16卷 2487-2504页

作者：胡康奚雪峰崔志明周悦尧仇亚进苏州科技大学电子与信息工程学院江苏苏州215000 苏州市虚拟现实智能交互及应用重点实验室江苏苏州215000 苏州智慧城市研究院江苏苏州215000

文本生成是自然语言处理的热门领域,随着信息收集能力的不断增长,人们收集到越来越多的结构化数据,如表格。如何解决信息过载问题,理解表格含义并描述表格内容是人工智能面临的重要问题,因此有了表格到文本生成任务。表格到文本生成是... 详细信息

文本生成是自然语言处理的热门领域,随着信息收集能力的不断增长,人们收集到越来越多的结构化数据,如表格。如何解决信息过载问题,理解表格含义并描述表格内容是人工智能面临的重要问题,因此有了表格到文本生成任务。表格到文本生成是指语言模型输入表格数据后生成表格的对应文本描述。模型生成的文本描述应该语句流畅,充分表达表格信息且不能偏离表格事实。描述了表格到文本生成任务背景并做出了详细定义,分析了当前任务主要难点并介绍了主流研究方法。表格到文本生成共有两大问题:描述什么,如何描述。梳理了不同研究人员针对这两大问题所提出的解决方法,同时总结了所提出模型的特点、优势以及劣势。对比分析了这些优秀模型在主流数据集上的表现,同时根据模型类型进行归类,并进行横向比较分析。介绍了表格到文本生成领域较为通用的评价方法,总结了不同评价方法的特点、优势以及劣势。最后展望了表格到文本生成任务未来发展趋势。

关键词：自然语言处理文本生成结构化数据表格到文本生成

来源：评论

学校读者我要写书评

暂无评论

基于结构表示学习的表格到文本生成方法研究

基于结构表示学习的表格到文本生成方法研究

引用

作者：白承麟北京交通大学

学位级别：硕士

表格到文本生成是根据输入表格生成对应文本描述的任务。近年来,随着生产生活中表格数据的日益增长,从表格中生成易读且忠实文档的技术,在营销文案和新闻报告生成等诸多领域中有迫切需求,引起学术界和工业界越来越多的关注和重视。表格... 详细信息

表格到文本生成是根据输入表格生成对应文本描述的任务。近年来,随着生产生活中表格数据的日益增长,从表格中生成易读且忠实文档的技术,在营销文案和新闻报告生成等诸多领域中有迫切需求,引起学术界和工业界越来越多的关注和重视。表格到文本生成任务涉及表格和文本两种数据格式,本文重点关注于从键值表到文本的生成,该类表格由键和值两列构成。已有的深度神经网络技术已经在生成文本流畅度方面取得很大的进展,但在表格结构表示学习方面仍然面临巨大的挑战。一方面,现有方法难以准确捕捉表格的语义结构信息,导致容易生成混乱的语义关系;另一方面,现有方法难以有效学习表格键值和长文本的对齐关系,导致文本生成可能遗漏重要的语义信息。本文针对上述问题进行深入研究,提出针对表格语义结构表示学习和表文对齐关系强化学习的新方法,包括基于结构感知学习的表格到文本生成模型和基于语义覆盖率奖励的强化学习训练方法,并在公开测试集上进行验证。研究成果总结如下: (1)本文提出基于结构感知学习的表格到文本生成模型。传统方法通常使用通用的文本编码方式来编码表格信息,但是表格中的上下文具有键值结构关系,合理编码并指导生成文本反映这种结构关系至关重要。因此,本文首先提出可定义的掩码矩阵及自动生成算法,用于定义表格语义结构关系;接着,设计引入掩码矩阵的多头自注意力机制,用于学习表格语义结构关系;最后,提出文本重建任务,以增强文本预训练模型对表格和文本对齐关系的学习。在国际公开表格到文本生成数据集E2E和Wiki Bio上进行评测实验,结果表明,本文方法与SOTA模型KGPT相比,在BLEU-4上分别提升0.94%和0.53%,证明所提方法可以有效增强神经网络模型编码表格的语义结构关系的能力,从而改进生成文本的质量。 (2)本文提出基于语义覆盖率奖励的强化学习训练方法。在已有模型训练过程中,需要使用表格和长文本的对齐数据,然而,现有的对齐方法得到的数据质量不高,尤其是低频键值对齐的质量较差。为解决这个问题,在工作(1)的基础上,本文引入近端策略优化算法,并采用COVERAGE指标作为奖励信号,以提高生成文本的语义全面覆盖能力。此外,我们还提出一种基于实时候选样本生成和奖励计算的模型训练方法。为验证本文提出的方法的有效性,我们在SCC数据集上进行评测实验。结果表明,相较于强基线模型,本文方法在COVERAGE和BLEU-4指标上有明显的提升,可以有效改善低频键值的生成能力并提高长文本生成的语义覆盖率。

关键词：表格到文本生成结构感知学习长文本生成强化学习

来源：评论

学校读者我要写书评

暂无评论

基于预训练模型的表格内容到文本生成研究

基于预训练模型的表格内容到文本生成研究

引用

作者：刘璀东青岛科技大学

学位级别：硕士

表格到文本生成是指语言模型输入表格数据后生成对表格内容总结性的文本摘要,模型生成的文本描述应该语句流畅,充分表达表格信息且不能偏离表格事实。这方面的研究是自然语言生成的重要内容之一。但目前由于表格内部结构和领域差异较大... 详细信息

表格到文本生成是指语言模型输入表格数据后生成对表格内容总结性的文本摘要,模型生成的文本描述应该语句流畅,充分表达表格信息且不能偏离表格事实。这方面的研究是自然语言生成的重要内容之一。但目前由于表格内部结构和领域差异较大,为了达到理想的生成效果,针对不同类型的表格需要不同的生成模型,然而,目前缺乏充分结合表格内容及结构信息的表格分类工作。此外,传统的表格表格内容编码都有一定局限性,难以全面的提取表格信息。因此,如何全方位地考虑表格结构、理解其中的数字信息还有较大的研究空间。目前,预训练模型在被广泛使用到各类任务。但预训练模型输入与表格到文本输入之间存在较大差异,单元格内容之间关系信息缺少使得生成结果容易产生歧义。因此,在表格到文本生成应用预训练模型取得的效果并不理想。尽管如此预训练模型包含了大量的语言知识,使用价值极高。针对上述问题,本文提出了一个表格预先分类方法以及一个表格到文本生成方法,主要研究内容如下: 提出基于Bert的多信息表格分类方法。首先,将表格输入到模型中,对表格分别进行结构编码,生成每个词的结构位置嵌入;然后将表格文本信息序列化输入Bert预训练模型,并通过Bi LSTM来捕捉上下文（表格单元格之间）的远程信息,其次通过注意力机制关联表格中关键位置的文本关键领域信息,最后利用全连接神经网络来学习这四种表示之间隐藏的相互作用和增强效果最终输出表格分类预测结果。为解决表格分类数据不平衡的问题,引入了基于图像的表格数据增强技术,对比实验表明提出的基于Bert的多信息表格分类方法能有效提高表格分类的准确率,在多个数据集上实验结果的准确率和F1值都达到最优或者次优水平,充分说明了所提方法的有效性。提出基于表格内容消歧的表格到文本生成方法。首先针对表格与普通序列不同的层次特点,对其进行结构化建模,使用了一种基于结构感知的Seq2Seq模型对表格数据进行编码,从而更好生成描述文本;在模型输入时,提出基于表格内容消歧的表格信息输入消歧义,使用作为提示的GPT-3模型从输入数据中理解可能有歧义的三元组,利用GPT丰富的自然语言信息,将每个三元组转换为一个歧义减少的短句。然后,以生成这样的具有完整自然语言信息的短句结合之前的结构信息作为模型输入,最后采用基于指针网络和GPT-2预训练模型的联合生成模块作为生成器,利用其与生俱来的语言能力,提高文本生成能力,最终得到一个概况表格内容的连贯句子作为最终描述。对比实验表明提出的基于表格内容消歧的表格到文本生成方法能有效提高生成文本的流畅度和准确性,在多个数据集上实验的BLEU-4和ROUGE-4评分均达最优次优水平,这充分说明了所提方法的有效性。

关键词：表格到文本生成表格分类预训练模型指针网络结构编码注意力机制信息消歧

来源：评论

学校读者我要写书评

暂无评论

小样本限制下基于预训练语言模型的文本生成技术研究

小样本限制下基于预训练语言模型的文本生成技术研究

引用

作者：孙亚威哈尔滨工业大学

学位级别：硕士

近年来,深度神经网络在自然语言文本生成任务中应用非常成功,机器翻译、文本摘要以及对话系统等一系列任务的生成效果得到了质的提升。不过深度神经网络仍然面临着“数据饥渴”这一关键挑战,由于深度神经网络通常具有大量参数,因此在数... 详细信息

近年来,深度神经网络在自然语言文本生成任务中应用非常成功,机器翻译、文本摘要以及对话系统等一系列任务的生成效果得到了质的提升。不过深度神经网络仍然面临着“数据饥渴”这一关键挑战,由于深度神经网络通常具有大量参数,因此在数据量不足的情况下容易出现过拟合以及泛化能力较差的问题。为了缓解这个问题,需要投入大量努力为相应任务配套数量足够且高质量的人工构建训练数据集,然而手工标注大规模数据是非常昂贵且耗时的,为每个领域的相应任务都配套数量充足的训练集是不切实际的。小样本限制极大阻碍了很多文本生成任务的进一步发展和实际落地应用。为了缓解上述困境,本课题提出利用预训练语言模型优化小样本限制下的文本生成,针对三个不同的文本生成下游任务引入专属优化策略,包含以下三方面内容:小样本限制下基于预训练语言模型的故事生成技术、小样本限制下基于预训练语言模型的表格到文本生成技术、以及小样本限制下基于预训练语言模型的图像描述生成技术。小样本限制下基于预训练语言模型的故事生成技术采用GPT-2预训练语言模型为文本生成框架,微调时修改其损失函数以适应有条件生成,针对故事生成任务对模型逻辑推理能力要求较高而GPT-2常识储备不足的问题,我们使用COMET模型基于故事背景生成故事结局可能包含的事件级常识推理,再经过排序筛选作为GPT-2的输入补充。实验结果表明基于预训练语言模型优化的故事生成技术在本课题使用的小样本限制下的ROCStories数据集上相比基线模型有了极大提升,达到了令人满意的效果,证明了我们方法的有效性。小样本限制下基于预训练语言模型的表格到文本生成技术同样采用GPT-2预训练语言模型为文本生成框架,针对表格格式与GPT-2预训练时输入格式不符的问题,提出基于模板的表格转化方法,将结构化表格编码为序列,同时引入多任务学习机制,在微调时增加表格结构重构和内容匹配这两个额外训练目标。实验结果表明基于预训练语言模型优化表格到文本生成技术在本课题使用的有小样本限制的维基百科数据集上达到了不错的效果,相比同样采用GPT-2的最新Seq2Seq方法有一定的提升,达到了新的State-Of-The-Art,证明了我们方法的有效性。小样本限制下基于预训练语言模型的图像描述生成技术考虑到输入图像与输出文本之间模态不一致的情况,采用基于BERT预训练语言模型初始化的Oscar模型,缓解了小样本限制下模型难以将图像与文本语义对齐的问题,微调第二阶段使用自批评序列训练(Self-Critical Sequence Training,SCST)方式以解决测试时错误累积的问题。除此之外,我们还在测试生成阶段采用有约束的束搜索替代传统束搜索,使得模型在遇到训练阶段未见过的物体标签时也能确保在文本中生成出来。实验结果表明,基于预训练语言模型的图像描述生成技术在小样本限制下的COCO图像描述数据集上,相比近两年来最新的基于模型融合的自蒸馏技术,有显著的效果提升,证明了我们方法的有效性。

关键词：小样本限制故事生成表格到文本生成图像描述生成预训练语言模型

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：