检索结果-内蒙古大学图书馆

作者：易璟雯兰州大学

学位级别：硕士

本文详细介绍了文本分类的几个主要流程,并对每一部分的常用方法做了理论分析,提出了一种基于Bidirectional Encoder Representations from Transformer(bert)预训练模型和变分自编码器(Variational Auto-Encoder,VAE)特征重构的文本分... 详细信息

本文详细介绍了文本分类的几个主要流程,并对每一部分的常用方法做了理论分析,提出了一种基于Bidirectional Encoder Representations from Transformer(bert)预训练模型和变分自编码器(Variational Auto-Encoder,VAE)特征重构的文本分类模型。该模型针对文档中不同类型的特征分别做不同的处理:首先,对于连续的语言序列,通过与多种基模型的对比发现,bert预训练模型作为一种迁移学习,只需在现有数据集上进行微调,即可达到远高于基模型中表现最好的Text CNN模型的准确率,因此选取bert预训练模型来做特征表达,输出的是句子的特征向量;其次,对于单独出现的关键词,采用Word2vec方法进行向量表示,再用VAE进行特征重构,使关键词向量的维度和句子的特征向量的维度保持一致;最后,将上述两步输出的向量进行拼接后加上全连接层,构建了bert预训练模型和VAE特征重构的融合模型,输出分类结果。本文选取了今日头条网站发布的新闻文本作为实验数据。实验结果表明,结合了关键词特征的融合模型效果最好,尤其是在某些难分类的样本上表现更明显。

关键词：新闻文本分类 bert预训练模型 VAE变分自编码器特征提取模型融合

来源：评论

学校读者我要写书评

暂无评论

基于bert预训练模型的教育装备供应链舆情报告系统

引用

科技与创新 2022年第16期 48-51页

作者：章艳华杨硕柳超江苏电子信息职业学院商学院江苏淮安223003

研究一种基于bert预训练模型的教育装备供应链舆情报告系统,系统通过信息抽取技术从互联网环境的多源响应信息源中抓取舆情信息,并使用bert预训练模型进行舆情分析,对系统核心构成“数据分析”模块进行了较为详细的介绍。实践证明,本系... 详细信息

研究一种基于bert预训练模型的教育装备供应链舆情报告系统,系统通过信息抽取技术从互联网环境的多源响应信息源中抓取舆情信息,并使用bert预训练模型进行舆情分析,对系统核心构成“数据分析”模块进行了较为详细的介绍。实践证明,本系统可有效挖掘出数据背后的价值,帮助用户快速获取丰富且准确的信息。

关键词：教育装备舆情系统 bert预训练模型报告系统

来源：评论

学校读者我要写书评

暂无评论

基于改进bert预训练语言模型的文本摘要生成研究

基于改进BERT预训练语言模型的文本摘要生成研究

引用

作者：赵帅北京印刷学院

学位级别：硕士

随着媒体形式的改变和发展,互联网中涌现了海量的文本数据,为了使人们能够精确、快速的获取自己想要的信息,文本摘要生成技术引起学者们的广泛关注。目前文本摘要生成技术按照其生成形式可分类为:抽取式与生成式。在抽取式摘要生成技术... 详细信息

随着媒体形式的改变和发展,互联网中涌现了海量的文本数据,为了使人们能够精确、快速的获取自己想要的信息,文本摘要生成技术引起学者们的广泛关注。目前文本摘要生成技术按照其生成形式可分类为:抽取式与生成式。在抽取式摘要生成技术中通常对原文档中所有句子或词组,根据人类语言特征进行打分,选择分值高且冗余度较小的句子直接组成摘要,该方法实现起来较为简单,但是生成的摘要往往存在语法错误、句子连贯性差等问题。而生成式方法相比而言所生成的摘要更符合人类撰写的标准,且句式整洁、可读性强,因而备受研究者关注。随着预训练语言模型在自然语言处理多项任务中取得良好的效果,研究者们尝试将预训练模型引入到摘要生成任务中。但是目前使用预训练知识的模型所生成的中文摘要质量并不理想,而且不能有效全面的表达出原文档的主要信息。因此,本文提出了基于改进bert的文本摘要生成模型(简称为bert＿KPF),即引入预训练知识并加以改进,从而生成更高质量的摘要。本文主要的工作包括以下三点:(1)改进模型句子划分方式,引入关键词模板。实验数据表明,bert预训练模型在中文文本摘要生成任务中的表现并不理想,因此为了将bert更高效的应用到中文文本摘要生成任务中,我们改进了bert模型原有句子划分方法,引入关键词模板对句子进行二次划分。使用关键词模板的句子划分方法能够有效提升模型生成摘要的质量。(2)改进模型结构,引入平均池化层。bert预训练模型中token embedding是基于字符级构建的,并不能很好的表达出中文字符的语义信息,我们模型通过使用平均池化层能够有效提高模型对词组级别语义信息的捕获能力。(3)改进模型损失函数,引入flooding方法。为了防止模型过度拟合,提高模型的泛化性能,我们引入了flooding方法。使用flooding方法能够使模型损失函数优化到一个相对平坦、稳定的区域,且损失值能够固定在flooding level(阈值)附近,从而达到更好的泛化性能。我们分别使用LCSTS和NLPCC2017数据集验证我们所提出方法的效果,通过实验数据可以看出,我们所提出的bert＿KPF模型与bert模型相比较有显著的提升。bert＿KPF模型在LCSTS数据集中ROUGE-1、ROUGE-2、ROUGE-L三个指标分别提升了4.1、3.9、3.8;在NLPCC2017数据集中ROUGE-1、ROUGE-2、ROUGE-L分别提升了10.5、15.5、11.4。并且通过生成的摘要示例可以看出,我们改进模型所生成的摘要可读性、连贯性更强,能够全面的表示出原文档的主要信息。

关键词：摘要生成 bert预训练模型关键词模板平均池化层 flooding方法

来源：评论

学校读者我要写书评

暂无评论

融合注意力机制的文本分类算法研究

引用

电脑与信息技术 2025年第2期33卷 1-5+19页

作者：何胜文马银龙刘羿漩中科星图股份有限公司行业应用事业部中科星图智慧科技有限公司行业应用事业部

针对目前的预训练语言模型在较长文本上无法充分提取到文本特征与提取特征后易产生词义分歧的问题，对bert(Bidirectional Encoder Representation from Transformer)预训练模型进行了文本分类研究，提出基于bert与注意力机制融合的文... 详细信息

针对目前的预训练语言模型在较长文本上无法充分提取到文本特征与提取特征后易产生词义分歧的问题，对bert(Bidirectional Encoder Representation from Transformer)预训练模型进行了文本分类研究，提出基于bert与注意力机制融合的文本分类神经网络算法。该算法以bert模型为基础模型，在对文本提取特征后，经过注意力机制对提取到的特征进行加权，从而获取重要特征。在IMDB数据集、20 NG数据集与SST-2数据集上进行交叉验证，结果表明，融合注意力机制后的文本分类模型在数据集上的分类准确率和F1值分别达96.4%与0.925，优于其他模型，证明了融合注意力机制可提升文本分类的准确率。

关键词：文本分类注意力机制神经网络 bert预训练模型

来源：评论

学校读者我要写书评

暂无评论

基于Transformer和bert模型的中文文本情感分析的研究

基于Transformer和BERT模型的中文文本情感分析的研究

引用

作者：佟以轩兰州理工大学

学位级别：硕士

随着互联网的全面普及,人们在微博、论坛、点评网站、购物网站等平台上发表的观点和评论数量呈指数形式增长。通过对这些数据进行收集、分析、挖掘,获取其中所包含的情感倾向,对于个人、企业和政府来讲具有重要的意义。随着互联网中文... 详细信息

随着互联网的全面普及,人们在微博、论坛、点评网站、购物网站等平台上发表的观点和评论数量呈指数形式增长。通过对这些数据进行收集、分析、挖掘,获取其中所包含的情感倾向,对于个人、企业和政府来讲具有重要的意义。随着互联网中文本数据的快速增长,人工智能的飞速发展,机器学习和深度学习的普遍应用,文本情感分析得到了学术界的广泛关注。本文首先通过对中文评论文本进行分析,结合文本数据的特征,提出了一种基于改进Transformer模型的二元中文文本情感分类方法。其次,由于二元文本情感分析所划分的标准过于绝对,不能很好的满足实际生活中的需要,提出了一种基于bert模型的三元微博文本情感分析方法。本文的主要研究工作如下:针对现有的文本情感分类模型中存在的信息缺失、上下文关联不强等问题,对Transformer模型进行改进,使模型的训练难度减小,训练时所消耗的时间更少,模型的整体性能更佳。通过在原有模型的基础上增加新的rawkeys变量的方式对模型中多头注意力机制进行填充,并使用IN标准化方法和GELUs激活函数对模型进行优化,分析数据集中用户的情感倾向。实验结果表明,该方法能够有效地提高模型的整体性能,减少模型训练时间,有利于解决文本情感分类任务。针对中文文本一词多义而导致的文本情感分类性能不佳、准确率较低以及不能准确理解文本所表达的语义信息等问题,提出了一种基于bert模型的三元中文文本情感分析方法。通过bert模型内部的Transformer编码器捕获文本的相关特征,然后引入注意力机制,对模型所提取出的信息进行加权,突出关键信息。最后,利用Softmax函数对文本特征进行分类。实验结果表明,该方法在疫情期间新浪微博数据集上取得了较好的文本分类效果。

关键词：文本情感分析 Transformer模型 bert预训练模型自注意力机制

来源：评论

学校读者我要写书评

暂无评论

基于强化学习和预训练模型的文本摘要生成研究

基于强化学习和预训练模型的文本摘要生成研究

引用

作者：苏慧北京交通大学

学位级别：硕士

生成技术能够对整篇文本信息生成简短摘要,满足人们高效获取关键信息的需求。指针生成网络模型(Pointer Generator Network,PGN)被广泛用于生成式文本摘要任务并取得不错的效果,但仍存在两方面问题,一方面,存在训练和测试两个阶段的指... 详细信息

生成技术能够对整篇文本信息生成简短摘要,满足人们高效获取关键信息的需求。指针生成网络模型(Pointer Generator Network,PGN)被广泛用于生成式文本摘要任务并取得不错的效果,但仍存在两方面问题,一方面,存在训练和测试两个阶段的指导方法和评估方法不一致问题;另一方面,存在信息丢失、缺少语义层面信息问题,这两方面问题都会导致生成的文本摘要不够精准。本文针对上述问题,基于PGN-Trans文本摘要生成模型,利用强化学习和预训练模型研究生成式文本摘要生成,主要工作如下: (1)针对训练和测试两个阶段的指导方法和评估方法不一致问题,设计了引入强化学习的文本摘要生成R-PGN-Trans模型,R-PGN-Trans模型基于PGN-Trans模型设计并应用了强化学习。R-PGN-Trans模型的编码器和解码器与PGN-Trans模型的编码器和解码器相同,在模型训练阶段,去掉了原来的“教师指导”,并改进了损失函数。损失函数的改进包括:把生成摘要与参考摘要计算ROUGE值作为奖励、通过以整个句子而非每个词的优化作为训练目标。改进损失函数后的自批判策略和集束搜索增加了训练的稳定性,加速了模型收敛。实验结果表明,在CNN/Daily Mail、DUC、Newsroom 3个数据集上,R-PGN-Trans模型相比PGN-Trans基础模型,ROUGE-1指标分别提高2.7、2.14、2.2,ROUGE-2指标分别提高1.4、1.4、1.74,ROUGE-L指标分别提高3.2、3.01、2.94。 (2)针对信息丢失、缺少语义层面信息问题,设计了引入预训练模型bert的文本摘要生成bert-RPGN-Trans模型,该模型在R-PGN-Trans模型的基础上改进。bert-RPGN-Trans模型在编码器部分改进内容包括:利用bert预训练模型来表征源文章中句子级的信息,将原有的词级别的编码器和句子级编码器相结合,使得解码器在生成摘要时受到不同粒度的编码器共同作用。bert-RPGN-Trans模型有助于发现原始句子之间的关系,保留句子级别的信息,还原源文章语义。解码器为R-PGN-Trans模型解码器。模型训练策略和损失函数和R-PGN-Trans模型相同。实验结果表明,在CNN/Daily Mail、DUC、Newsroom 3个数据集上,bert-RPGNTrans模型相比R-PGN-Trans基础模型,ROUGE-1指标分别提高1.0、1.2、1.27,ROUGE-2指标分别提高2.0、1.1、0.95,ROUGE-L指标分别提高0.8、0.7、0.93。

关键词：文本摘要生成强化学习 bert预训练模型

来源：评论

学校读者我要写书评

暂无评论

基于bert-Bi-IAN的方面级情感分析模型

引用

河南工程学院学报（自然科学版） 2023年第1期35卷 65-70页

作者：何旭杨柳黄宇湘潭大学数学与计算科学学院湖南湘潭411105 科学工程计算与数值仿真湖南省重点实验室湖南湘潭411105

为进一步提高情感识别的准确率,提出了一种基于bert预训练模型的交互式情感分析模型——bert-Bi-IAN模型。首先利用bert预训练模型分别动态表示评价对象及其上下文,然后通过Bi-LSTM网络提取二者的语义信息,随后输入交互式注意力模块,得... 详细信息

为进一步提高情感识别的准确率,提出了一种基于bert预训练模型的交互式情感分析模型——bert-Bi-IAN模型。首先利用bert预训练模型分别动态表示评价对象及其上下文,然后通过Bi-LSTM网络提取二者的语义信息,随后输入交互式注意力模块,得到二者的交互关系与提取到的语义信息重组评价对象及其上下文的最终表示。模型在中英文数据集中的实验表现证明了与现有经典模型相比,其准确率和F1值有所提升,表明该模型有较大的适用领域。

关键词：方面级情感分析深度学习交互式注意力机制 bert预训练模型 bert-Bi-IAN模型

来源：评论

学校读者我要写书评

暂无评论

基于bert-CRF模型的缅甸语韵律单元边界预测

引用

计算机科学与应用 2021年第3期11卷 505-514页

作者：李培英杨鉴云南大学信息学院云南昆明

近年来,缅甸语语音合成引起了众多学者的关注,然而该技术的性能离推广应用还有一段距离。本文以提升缅甸语语音合成自然度作为目标,研究缅甸语韵律特征,探索通过缅甸语文本自动预测韵律单元边界的方法。本文提出并实现了一种基于bert预... 详细信息

近年来,缅甸语语音合成引起了众多学者的关注,然而该技术的性能离推广应用还有一段距离。本文以提升缅甸语语音合成自然度作为目标,研究缅甸语韵律特征,探索通过缅甸语文本自动预测韵律单元边界的方法。本文提出并实现了一种基于bert预训练模型和条件随机场(CRF)模型相结合的缅甸语韵律词和韵律短语边界预测方法。实验结果表明,采用bert-CRF模型,韵律词和韵律短语的预测效果均优于CRF、BiLSTM、BiLSTM-CRF以及bert模型。为了验证该方法的可用性,本文还将本文所提出的方法应用于语音合成前端文本分析与处理中。语音合成实验结果表明,本文所提方法能有效提高缅甸语语音合成的自然度。

关键词：缅甸语韵律单元预测 bert预训练模型条件随机场模型语音合成

来源：评论

学校读者我要写书评

暂无评论

基于bert的青少年心理健康预警模型

引用

中国数字医学 2024年第10期19卷 101-106页

作者：查佳凌金薇徐呈宙李玫宛艳俊许金超上海交通大学医学院附属同仁医院信息科上海200336 上海交通大学医学院附属同仁医院体检科上海200336 上海交通大学医学院网络信息中心

目的:设计并训练一个青少年心理健康预警模型,通过对青少年心理健康调查问卷或心理日记等文本数据进行分析,及时发现并预警青少年存在的心理问题。方法:基于bert预训练模型,构建基于青少年身心健康的预警模型,利用青少年心理健康调查问... 详细信息

目的:设计并训练一个青少年心理健康预警模型,通过对青少年心理健康调查问卷或心理日记等文本数据进行分析,及时发现并预警青少年存在的心理问题。方法:基于bert预训练模型,构建基于青少年身心健康的预警模型,利用青少年心理健康调查问卷数据和心理论坛上抓取的资料,对模型进行增强训练和微调,从而实现对心理健康相关信息的文本分析和预警,有效和迅速地发现青少年群体中的心理问题。结果:实验结果表明,基于bert的青少年心理健康预警模型在分类任务中展现出优异的性能。经过增强训练后的bert模型分类准确率达到了88.21%,与传统的MLP、SVM、LSTM模型相比,在准确率和召回率等关键指标上有显著提升。结论:本研究提出的预警模型为心理健康评估提供了科学而便捷的方法,能有效提升对青少年心理状态评估的准确性,适用于医院、学校和家庭等多种场景。未来将进一步优化模型,以应对更加复杂和多样化的数据挑战。

关键词：心理健康青少年自然语言处理 bert预训练模型

来源：评论

学校读者我要写书评

暂无评论

基于bert-BiGRU-CNN模型的短文本分类研究

引用

吉林大学学报（信息科学版） 2023年第6期41卷 1048-1053页

作者：陈雪松邹梦东北石油大学电气信息工程学院黑龙江大庆163318

针对传统语言模型不能解决深层双向表征和分类模型不能充分捕获文本显著特征的问题,提出了一种基于bert-BiGRU-CNN(Bidirectional Encoder Representation from Transformers-Bidirectional Gating Recurrent Unit-Convolutional Neural Networks)的文本分类模型。首先,该模型使用bert预训练语言模型进行文本表示;其次,将bert的输出数据输入BiGRU中,以捕获文本的全局语义信息;然后,将BiGRU层的结果输入CNN中,捕获文本局部语义特征;最后,将特征向量输入Softmax层得到分类结果。实验采用中文新闻文本标题数据集,结果表明,基于bert-BiGRU-CNN的文本分类模型在数据集上的F_(1)值达到0.948 5,优于其他基线模型,证明了bert-BiGRU-CNN模型可提升短文本的分类性能。

关键词：文本分类 bert预训练模型双向门控循环单元卷积神经网络

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：