检索结果-内蒙古大学图书馆

科学技术与工程 2025年第2期25卷 649-656页

作者：李莉张之欣王小龙华北电力大学控制与计算机工程学院保定071003 河北省能源电力知识计算重点实验室保定071003

针对大型预训练语言模型在处理新闻标题时,面临参数规模庞大、无法高效利用上下文语意特征以及循环卷积神经网络对初始输入元素重要性忽视的问题,提出了一种融合混合专家模型(mixture-of-expert,MoE)的ERNIE与注意力机制的循环卷积神经... 详细信息

针对大型预训练语言模型在处理新闻标题时,面临参数规模庞大、无法高效利用上下文语意特征以及循环卷积神经网络对初始输入元素重要性忽视的问题,提出了一种融合混合专家模型(mixture-of-expert,MoE)的ERNIE与注意力机制的循环卷积神经网络(recurrent convolutional neural networks,RCNN)的新闻标题分类方法。首先,借助MoE改进ERNIE技术进行文本编码,随后利用注意力RCNN在保留文本词序和特征的基础上进行分类。为提高分类能力,通过计算输入的融合上下文权重对RCNN进行改进。在计算MoE中各个专家权重的过程中,选择Gumbel_Softmax作为新型的门控函数以改进传统的Softmax函数,从而更好地控制平滑程度。根据实验结果,发现相较于传统的分类方法,本文研究提出的分类方法展现出显著优势,极大地减少了参数数量。在此基础上,F_(1)相较于传统模型提升了0.51%。经过消融实验的验证,该分类方法在分类任务上的可行性得到了证实。

关键词：混合专家系统知识增强语义表示模型注意力机制循环卷积神经网络文本分类

来源：评论

学校读者我要写书评

暂无评论

人大报告内容的文本分类

引用

计算机工程与设计 2021年第6期42卷 1772-1778页

作者：喻航李红莲吕学强北京信息科技大学信息与通信工程学院北京100101 北京信息科技大学网络文化与数字传播北京市重点实验室北京100101

针对区级人大报告特定的几方面内容进行文本分类,可以让人大工作人员对不同工作内容进行快速分辨,是构建人大报告辅助生成系统的必要内容。为对不同内容分类,基于TF-IDF(词频-逆文档频率)与知识增强语义表示模型ERNIE(enhanced represen... 详细信息

针对区级人大报告特定的几方面内容进行文本分类,可以让人大工作人员对不同工作内容进行快速分辨,是构建人大报告辅助生成系统的必要内容。为对不同内容分类,基于TF-IDF(词频-逆文档频率)与知识增强语义表示模型ERNIE(enhanced representation from knowledge integration)结合构建分类模型。ERNIE直接对语义知识单元进行建模,在此基础上加入TF-IDF提升模型性能。实验结果表明,该方法在分类的准确率和召回率上表现不错,使ERNIE模型收敛速度加快,通过该模型可以较好地对人大报告的文本进行分类。

关键词：人大报告文本分类词频-逆文档频率知识增强语义表示模型速度

来源：评论

学校读者我要写书评

暂无评论

基于BILSTM-Attention的书评情感分类研究

基于BILSTM-Attention的书评情感分类研究

引用

作者：胡琪苏州大学

学位级别：硕士

近年来,随着互联网的繁荣发展,电子商务逐渐进入人们的生活。线上购物时,在线评论是消费者了解商品质量的重要渠道。在出版领域,豆瓣书籍评论也成为消费者购书的重要参考。面对海量用户评论,情感分析技术能够将用户评论按照情感倾向分类... 详细信息

近年来,随着互联网的繁荣发展,电子商务逐渐进入人们的生活。线上购物时,在线评论是消费者了解商品质量的重要渠道。在出版领域,豆瓣书籍评论也成为消费者购书的重要参考。面对海量用户评论,情感分析技术能够将用户评论按照情感倾向分类,有效挖掘评论信息,帮助消费者了解书籍风评。目前,关于中文书评情感分析的研究文献大多采用情感词典和支持向量机等传统机器学习方法。由于书评文本往往包含大量抽象的情节描述,因此在情感分析任务中,对模型深层语义的提取能力要求较高。同时注意到,深度学习模型已在微博等社交媒体短文本情感分析领域取得优秀成果。因此,本文在BILSTM-Attention模型的基础上,将知识增强语义表示(ERNIE)模型、多头注意力机制与文本句法特征融合,提出了 BMAE(BILSTM Multi-heads Attention ERNIE)深度学习情感分析模型;基于TensorFlow和百度飞桨深度学习框架,以豆瓣书评为依据,探究深度学习在书评情感分析任务中的应用效果。本文的主要工作有: (1)基于Uipath软件搭建流程机器人,批量收集豆瓣读书短评,建立了书评短文本语料库。为提升文本向量化效率,本文对比了 ERNIE、BERT、Word2vec三种方法,最终选择了准确率更高的ERNIE模型。 (2)在BILSTM-Attention模型的基础上,提出BMAE模型。为解决并行多头注意力机制无法收敛的问题,本文尝试叠加多头注意力机制、前馈神经网络与自注意力机制,降低模型复杂度的同时,加入正则惩罚项缓解了过拟合问题。此外,本文对评论文本进行词性标注,在模型中引入词语位置信息和文本句法特征。模型参数选择方面,本文尝试基于一个正交设计进行优化。相比基础BILSTM-Attention模型,BMAE在准确率、精确率、召回率、F1值四个指标上分别提升了 3.17%、2.07%、3.82%、2.94%。 (3)具体分析包含情节描述的书评文本,验证了 BMAE模型在处理此类书评时,准确率远高于情感词典方法。此外,本文还分析了 BMAE模型的错分样本,为模型的后续改善提供了方向。

关键词：多头注意力机制双向长短时神经网络知识增强语义表示模型

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：