检索结果-内蒙古大学图书馆

计算机工程与设计 2024年第9期45卷 2866-2873页

作者：杜云龙卢敏中国民航大学计算机科学与技术学院天津300300 中国民航大学民航智慧机场理论与系统重点实验室天津300300

为解决捆绑列表推荐中会话兴趣表征不充分,以及预构建捆绑包不能根据会话动态兴趣进行个性化推荐的问题,提出一种全局-局部信息增强的捆绑列表生成网络。利用包含相对位置编码的时间加权多头注意力机制提取会话的全局信息,结合设计的多... 详细信息

为解决捆绑列表推荐中会话兴趣表征不充分,以及预构建捆绑包不能根据会话动态兴趣进行个性化推荐的问题,提出一种全局-局部信息增强的捆绑列表生成网络。利用包含相对位置编码的时间加权多头注意力机制提取会话的全局信息,结合设计的多粒度深度可分离卷积融合会话的局部信息,通过自回归捆绑列表生成网络生成多样化的捆绑列表。在亚马逊数据集上进行广泛的实验,对生成捆绑包的大小进行分析,模型效果相比其它最优基准模型平均提升了15.19%。

关键词：捆绑列表推荐会话推荐多头注意力机制深度可分离卷积相对位置编码自回归模型波束搜索

来源：评论

学校读者我要写书评

暂无评论

基于双仿射模型的中文医学文本命名实体识别研究

基于双仿射模型的中文医学文本命名实体识别研究

引用

作者：范云啸上海财经大学

学位级别：硕士

命名实体识别是指从一段文本中识别出各种有意义的概念单元的过程。常见的实体类型有人名、地名、机构名称、时间等。中文命名实体识别是专门在中文文本上进行的命名实体识别,根据所应用的文本的领域的不同,又可以分为通用领域、法律领... 详细信息

命名实体识别是指从一段文本中识别出各种有意义的概念单元的过程。常见的实体类型有人名、地名、机构名称、时间等。中文命名实体识别是专门在中文文本上进行的命名实体识别,根据所应用的文本的领域的不同,又可以分为通用领域、法律领域或医学领域等。本文就中文医学文本命名实体识别上经常存在的问题展开研究,提出了一些有效的方法。嵌套实体多是中文医学文本的一个特点。非嵌套的命名实体识别通常被业界视作序列标注任务,该方法已被证明是有效的,但是该方法并不同样适用于嵌套命名实体识别。本文采用依存分析领域最先进的双仿射模型解决嵌套命名实体识别问题。通过将每一个有效的区间使用双仿射模型预测其实体类别,模型能很好地解决嵌套命名实体识别问题,所使用的双仿射模型相比基线模型提升巨大。在双仿射模型的基础上,本文创新性地将双仿射机制视作一种注意力机制,将相对位置编码与双仿射模型融合起来,提升了模型识别嵌套实体的能力。针对双仿射模型带来的类别不均衡问题,本文将计算机视觉领域目标检测任务常用的双焦点损失函数替换原始的交叉熵损失函数。同时,本文提出的基于超图图神经网络的词汇增强方法,将外部词汇信息嵌入模型中,帮助模型识别专业性强、英文缩写多的医学实体。由实验结果可知,本文提出的这些创新方法,提升了双仿射模型应用在中文医学文本领域的性能。除了对双仿射模型进行改进,本文还探索了不同预训练模型对最终效果的影响,发现了采用更大版本的预训练模型、使用全词遮蔽策略和相对位置编码对命名实体识别任务有较大的帮助,最终NEZHA-large预训练模型取得了最好的实验效果。综上所述,本文对中文医学文本命名实体识别问题展开了研究,所改进的双仿射模型相比基线模型在精确率和召回率上提升巨大,F1值提升了3.47%。

关键词：中文医学文本命名实体识别嵌套实体双仿射相对位置编码双焦点损失函数超图图神经网络词汇增强

来源：评论

学校读者我要写书评

暂无评论

基于图神经网络的中文嵌套命名实体识别研究

基于图神经网络的中文嵌套命名实体识别研究

引用

作者：李佳昊中原工学院

学位级别：硕士

随着互联网技术的不断发展,自然语言处理技术都有着很重要的作用,而命名实体识别技术作为自然语言处理中众多任务的基础技术,也是众多学者的研究重点,尽管机器学习以及深度学习技术和应用取得了快速发展,但针对命名实体识别的个别任务,... 详细信息

随着互联网技术的不断发展,自然语言处理技术都有着很重要的作用,而命名实体识别技术作为自然语言处理中众多任务的基础技术,也是众多学者的研究重点,尽管机器学习以及深度学习技术和应用取得了快速发展,但针对命名实体识别的个别任务,比如嵌套问题以及中文命名实体识别问题,效果仍不尽人意。由于中文不同于英文有天然分隔符,中文分词错误导致最终标注正确率下降,一直是众多学者的研究重点,而常规的RNN模型由于每个节点只能获取该节点之前的信息,会造成后续信息的丢失。同样,命名实体识别一直被当作是序列标注问题,常规的命名实体识别模型只能标注出单一实体,而没办法识别出嵌套命名实体识别的嵌套结构,针对以上问题,本文提出了两种基于图神经网络结构的命名实体识别方法来解决上述问题。(1)为解决常规RNN模型的上下文信息丢失问题,提出了一种基于图神经网络的中文命名实体识别方法。构建图神经网络,通过节点更新来获取上下文信息,改进由于缺失后续信息而导致的实体标注的错误,并使用相对位置编码技术来提取缺失的指向和定位信息,通过依赖关系解析获取词汇信息来处理长距离依赖关系,还能够通过与相对位置编码中单词的交互,更有效地处理方向和位置方面的长分布关系和缺失数据。(2)为解决嵌套实体的嵌套结构问题,提出了一种基于图卷积神经网络的嵌套命名实体识别方法。使用Bi-GCN迭代的在潜在实体起始节点和终止节点之间传播信息来学习内部实体。主要实现是构建两个图,实体图利用外层语句信息,邻接图理解局部上下文信息,之后提取图特征,并汇总特征,通过Bi-GCN获取到图特征表示后,获取最终嵌套实体得分。最后从图卷积神经网络学习的表示进一步反馈到中文模块,以获得更好的预测结果。本文分别在中文数据集,以及中文嵌套数据集上分别对每个模块进行实验验证。在Resume和Weibo两个数据集以及人民日报中文嵌套数据集上的实验结果表明,与其他最新模型相比,本文所提出的模型在三种数据集上的准确率均有所提升。

关键词：中文命名实体识别嵌套命名实体识别图神经网络相对位置编码依存句法分析

来源：评论

学校读者我要写书评

暂无评论

基于Lattice-LSTM模型的中文命名实体识别研究及实现

基于Lattice-LSTM模型的中文命名实体识别研究及实现

引用

作者：黄成明重庆邮电大学

学位级别：硕士

命名实体识别是信息筛选的分支,属于自然语言处理中信息提取方向,在海量信息筛选、知识图谱构建以及问答系统等方面都有应用。命名实体识别主要关注以人名、地名为代表的实体类信息,虽然发展较长,但仍面临着诸多问题,例如长句中信息丢... 详细信息

命名实体识别是信息筛选的分支,属于自然语言处理中信息提取方向,在海量信息筛选、知识图谱构建以及问答系统等方面都有应用。命名实体识别主要关注以人名、地名为代表的实体类信息,虽然发展较长,但仍面临着诸多问题,例如长句中信息丢失的情况、忽略句子全局信息的情况。因此本文针对上述问题进行研究,主要工作包括以下几个方面:1.本文对Bi-LSTM-CRF、Bi-LSTM-CNNs-CRF、Lattice-LSTM等模型进行了深入研究,并对部分模型进行复现实验,总结命名实体模型处理过程,发现多数模型以LSTM结构为主,该结构存在丢失长句中文本信息的缺点,其次结构仅从字符信息角度考虑实体,而忽略从全局角度考虑使用句子结构信息进行实体判断。2.本文提出改进模型LLPA,使用Lattice-LSTM模型提取句子文本信息,使用Rel＿Pos＿Attention模型提取句子结构信息,并改变注意力权重的计算方式以及对位置编码进行选择。通过在4个数据集上实验,结果表明,改进模型LLPA对实体的识别能力更强,其中综合评价指标1提升较大,达到2%左右。3.本文进行了两个拓展实验,其一为替换词向量提升模型识别效果,其二为使用两种不同领域语料验证模型的鲁棒性。首先使用Glove方法和ELMo方法训练词向量,并应用于实验中,实验发现更好的词向量能进一步提升识别效果;其次,本文在公认数据集之外,在网络上获得2个不同领域的数据集,并进行实验,实验结果表明本文的改进模型具有一定的鲁棒性,能在不同领域数据集上识别相应的实体。4.最后,基于上述改进模型设计并实现了一个中文命名实体识别系统,该系统具有两个主要功能,一是对于输入多个句子的文本进行识别,并展示识别结果;二是面向以电子文档保存的文本进行批处理识别,并将电子档的识别结果输出到文档中,从而方便使用者对识别的结果进行观察和使用。

关键词：中文命名实体识别 Lattice-LSTM模型注意力权重相对位置编码

来源：评论

学校读者我要写书评

暂无评论

基于六轴传感器的行为识别研究与应用

基于六轴传感器的行为识别研究与应用

引用

作者：郝迎丽北京邮电大学

学位级别：硕士

行为识别可以定义为一种对静止图像、视频和感官数据进行解读,进而对一系列人类活动进行分类的方法。随着人工智能和互联网的发展,使得行为识别在医疗辅助,人机交互等方面发挥越来越重要的作用。在如今这个注重隐私保护的社会里,相较于... 详细信息

行为识别可以定义为一种对静止图像、视频和感官数据进行解读,进而对一系列人类活动进行分类的方法。随着人工智能和互联网的发展,使得行为识别在医疗辅助,人机交互等方面发挥越来越重要的作用。在如今这个注重隐私保护的社会里,相较于基于视频流的行为识别,基于传感器的行为识别依靠其可以不侵入生活、不间断地记录人类活动信息的特点,受到了广泛的研究和应用。六轴传感器指的是传感器从空间中的六个坐标轴方向进行数据采集。多模态的传感器数据、噪声复杂的输入信号等问题给行为识别带来了巨大的挑战,如何设计并实现一套完整、合理、准确性高的行为识别系统并且可以应用到实际生产生活中具有重要的研究意义和价值。本文针对目前行为识别算法中的传感器贡献权重和不用位置输入信号之间的相关性中存在的问题做出改进,提出有效的基于六轴传感器的行为识别算法,使得模型准确率更高,性能更加稳定,模型可解释性更强。此外,基于提出的行为识别算法设计部署行为识别系统。本文的主要研究内容和贡献如下:(1)本文针对六轴传感器的行为识别算法中对不同放置位置的传感器对行为贡献值分配不清晰、不同时刻的输入信号之间的相对关系考虑欠缺等问题,提出了一种结合相对位置编码和注意力机制及网络优化的行为识别算法(RP-Attn-Opt)。本文首先设计一个多模态传感器权重贡献层,输入的六轴传感器信号经过该层的计算可以得到不同的传感器对某个特定动作的贡献水平,并且可以绘制出贡献水平特征图,增强模型的可解释性。然后把经过初步特征提取之后的信号输入到全局信息注意力模块,该模块包含自我注意力层和相对位置编码层,把相对位置编码引入到多个注意力头中,使得模型可以从多角度学习到有效的位置信息和特征信息。最后,在三个公开数据集上对本文算法进行评估,并与其他经典行为识别算法比较。经过实验证明,本文所提出的行为识别算法在三个数据集上都能获得最佳表现性能,模型的稳定性和泛化性也得到了验证。(2)根据本文提出的算法设计并实现了行为识别系统。系统主要包括前端模块,由微信小程序的形式与用户进行交互;后端管理模块,主要功能是处理各种数据和搭建与其他各部分模块交互的桥梁;行为识别算法模块,根据本文所提出的算法模型训练和部署,是系统的主体模块;数据存储模块,用于存储用户信息和行为动作数据以及识别结果。系统采用Nginx+uwsgi+Flask的方式进行部署,通过更改配置信息可以实现动态的更新升级算法服务器,并且支持后续增加新的算法模块。行为识别系统的搭建和使用进一步验证了本文算法模型具有实际落地应用的意义和价值。

关键词：六轴传感器行为识别相对位置编码注意力机制

来源：评论

学校读者我要写书评

暂无评论

基于超分辨和金字塔卷积残差网络的车辆重识别

基于超分辨和金字塔卷积残差网络的车辆重识别

引用

作者：徐德胜南昌大学

学位级别：硕士

车辆重识别(Vehicle Re-ID)旨在多个其它摄像头下去检索与追踪到指定的目标车辆,可为查违章、抓逃犯等提供帮助,但仍然存在如下亟待解决的问题。第一,现有收集的车辆重识别数据往往存在局部区域分辨率低、模糊等现象,使得识别算法无法... 详细信息

车辆重识别(Vehicle Re-ID)旨在多个其它摄像头下去检索与追踪到指定的目标车辆,可为查违章、抓逃犯等提供帮助,但仍然存在如下亟待解决的问题。第一,现有收集的车辆重识别数据往往存在局部区域分辨率低、模糊等现象,使得识别算法无法准确地提取细微的表征。此外,小的特征在大的卷积核的运算下容易造成特征消失的情况,导致模型无法捕捉和学习细微特征,从而导致对车辆不准确的判断。第二,先进的视觉Transformer与卷积神经网络相比在训练时所需的计算资源明显减少,但现有基于视觉Transformer的车辆重识别方法采用绝对位置编码方式,无法获取车辆局部位置之间的相对含义并且位置之间没有约束关系,使得网络无法鲁棒地去学习车辆零部件之间的连接信息。针对问题一,本文将超分辨和车辆重识别算法进行有机结合,提出了基于超分辨和金字塔卷积残差网络的车辆重识别方法。首先,通过生成对抗网络学习图像特征融合和传递低频、高频特征信息,将低分辨率图像转换为纹理和色彩信息更丰富的超分辨率图像用以提供更多不可或缺的细节。然后,通过具有多个感受野大小的金字塔卷积层提取输入图像的多尺度残差特征,能够在不同尺度上捕捉信息。最后是特征融合操作,使融合后的特征具有更多的鉴别优势,大大提高了图像特征的鲁棒性。为验证方法的有效性,本文在Ve Ri-776数据集和Vehicle ID数据集上进行了实验。实验结果表明,本文提出的方法有效地提高了车辆图像的数据信息,准确地区分不同车辆相同车型之间的细微差异,该方法在识别的准确度方面优于其他方法。针对问题二,本文提出了基于超分辨和相对位置编码的视觉Transformer的车辆重识别方法。首先是沿用超分辨操作来提供更为不可或缺的细节。然后是改用相对位置编码,它能够提高模型对车辆图像各个切片之间的语义关联信息的理解能力,从而使得网络鲁棒地去学习车辆零部件之间的连接信息。其次,引入侧边信息嵌入模块用于处理车辆图像的相机信息和视角等非视觉信息。最后,拼图模块用于在训练中引入额外的扰动并提高车辆重识别模型的鲁棒性和精度。为验证方法的有效性,本文在Ve Ri-776数据集和Vehicle ID数据集上进行了实验。实验结果表明,本文提出的方法有效地提高了车辆图像的数据信息和车辆重识别模型对车辆图像各个切片之间的语义关联信息的理解能力,该方法在识别的准确度方面优于其他方法。

关键词：车辆重识别 Transformer 超分辨金字塔卷积相对位置编码

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的中文问题生成方法研究与应用

基于深度学习的中文问题生成方法研究与应用

引用

作者：皎玖圆西安理工大学

学位级别：硕士

随着NLP和知识图谱的快速发展,智能问答(QuestionAnswering,QA)已经成为专业领域知识快速获取和学习的重要途径。其中,问题生成作为智能问答中一项重要的子任务,吸引了越来越多的关注。但是现存的问题生成研究大多针对英文语料集,涉及... 详细信息

随着NLP和知识图谱的快速发展,智能问答(QuestionAnswering,QA)已经成为专业领域知识快速获取和学习的重要途径。其中,问题生成作为智能问答中一项重要的子任务,吸引了越来越多的关注。但是现存的问题生成研究大多针对英文语料集,涉及中文的研究较少。特别是针对中文段落文本,现有方法大多只生成单一问题,缺乏对整段文本中关键知识的完整理解和总结。为了充分解析段落中每句文本,本文使用深度学习模型,先从段落文本中抽取包含知识点的多条核心句,然后对每条核心句生成相关问题。通过结合中文句子级标签嵌入和词格嵌入表征等机制,抽取和生成模型的语义获取能力均得到了提升,从而实现了更加完整的段落信息检索。本文的研究内容和创新点主要包含以下几个方面:(1)为了充分利用段落文本中句子的上下文信息,本文提出了 GCSS中文核心句抽取模型。该模型结合Seq2Seq和CNN模型,应用Sentence-Embedding机制将段落文本中每个句子的长度和边界信息加入到词嵌入层,提升模型的抽取效果。相比传统的单条数据分类模型,本文提出的模型在核心句抽取数据集上Recall和F1-score均得到了提升。(2)为了充分利用中文词格信息和位置信息,本文提出了 CQGLM-PE中文问题生成模型。该模型加入了 PLattice机制将中文输入语料的词汇信息以及相对位置信息融入模型中,同时结合了 ECopy机制提升模型输入与输出的相关性。通过大量的对比实验表明,CQGLM-PE模型在问题生成数据集中取得了较好的性能。(3)基于提出的核心句抽取以及问题生成模型,本文设计并实现了一个智能问题生成系统。对系统的测试结果表明,本文所提出的问题生成模型能够应用于实际系统,满足自然语言自动生成问题的实际需求,实现了高质量问题生成。

关键词：自然语言处理核心句抽取问题生成相对位置编码深度学习

来源：评论

学校读者我要写书评

暂无评论

基于Transformer的生成式对话系统

基于Transformer的生成式对话系统

引用

作者：巩固电子科技大学

学位级别：硕士

在自然语言处理任务中,对话系统是其最具有发展前景的关键应用方向之一。基于检索和基于生成是目前现有对话系统实现的主流方法。检索式的方法是从候选回复进行打分并选择,提供相对固定模式化的回复,基于检索的系统严重依赖语料库的大... 详细信息

在自然语言处理任务中,对话系统是其最具有发展前景的关键应用方向之一。基于检索和基于生成是目前现有对话系统实现的主流方法。检索式的方法是从候选回复进行打分并选择,提供相对固定模式化的回复,基于检索的系统严重依赖语料库的大小和质量,导致候选回复可能会缺失上下文中的重要信息,而且基于检索的方法限制了产生回复的丰富性,输出结果比较生硬。因此,为了让对话系统更好地完成信息表述以及情感表达等任务,使用基于生成式的方法来构建对话系统,使得对话系统产生的回复更为自然生动且符合上下文关键信息。本文在已有的对话模型基础上,研究如何增强对话模型的词意和语义理解能力以及多轮对话条件下信息衰弱的现象。本文的主要内容如下:第一、目前中文的对话系统和英文对话系统相比,由于中文信息更为复杂,并且词语的边界划分具有偏差,因此现有的对话系统性能并不理想。针对现有研究的不足,本论文设计了基于Transformer的中文生成式对话系统,仅使用多层Transformer解码器构建系统,并使用不完全Mask掩码的设计来实现单向语言生成,即问句可以双向感知上下文信息,而回复句只能单向自回归输出。通过自回归的方式每次输出一个词,生成新词后,将该词添加到输入文本序列后面,新的文本序列会成为模型下一步输入,如此循环直到产生结尾标识符为止。本系统的流程使得单向生成对话任务更加具有逻辑合理性,性能也优于传统的对话系统方案。第二、为了增强对话系统对词意和语义的理解能力,本研究提出字词融合的Embedding优化方法,引入预训练语言模型的词嵌入矩阵与对话任务中的字向量进行融合,并通过使用稀疏Softmax来避免过拟合问题。通过实验对比验证字词融合Embedding的优化方法对中文生成式对话系统的性能有进一步提升,验证该优化方法的可行性。第三、通过分析发现绝对位置编码会产生远程信息衰弱现象,因此提出使用相对位置编码进行改进,在Transformer模块修改Self-Attention的计算公式,通过加入相对位置信息替代位置嵌入层的绝对位置编码,以此来增强长距离注意力。通过实验结果验证表明,使用相对位置编码能够减少信息远程衰弱现象。

关键词：自然语言处理对话系统字词融合词嵌入相对位置编码

来源：评论

学校读者我要写书评

暂无评论

基于优化混合神经网络的超级电容器剩余使用寿命预测研究

基于优化混合神经网络的超级电容器剩余使用寿命预测研究

引用

作者：衣振晓青岛大学

学位级别：硕士

新型储能是构建新型电力系统的重要技术和基础装备,也是实现碳达峰碳中和目标的关键一环。超级电容器与传统电容器和充电电池相比具有功率密度高、循环寿命长、充放电效率高及低温性能优等特性,已被广泛应用于峰值功率供给和制动能量存... 详细信息

新型储能是构建新型电力系统的重要技术和基础装备,也是实现碳达峰碳中和目标的关键一环。超级电容器与传统电容器和充电电池相比具有功率密度高、循环寿命长、充放电效率高及低温性能优等特性,已被广泛应用于峰值功率供给和制动能量存储等领域。由于实际应用中存在固有参数不一致和工作环境复杂等情况,准确的剩余使用寿命(Remaining Useful Life,RUL)预测对储能系统的安全可靠运行和全面智能管理至关重要。神经网络具有强大的特征提取和非线性拟合能力,凭借在预测精度和成本效益等方面的优越性而成为当下的研究热点。本文以超级电容器为研究对象,深入讨论了基于优化混合神经网络的RUL预测问题,具体研究内容如下: 首先,介绍了超级电容器的储能机理及模型,引入等效电容参数以描述超级电容器的老化状态,分析超级电容器的内部结构特征以及电荷的运动特点和潜在规律,研究其储能机理并得到性能老化的影响因素。其次,利用循环老化测试方法对超级电容器进行充放电,收集并记录了来自不同生产厂家的不同型号下的容量衰减相关数据,以训练并测试模型的鲁棒性和泛化能力。随后,对采集到的数据进行预处理,为了降低人工处理原始数据的难度,引入了一维卷积神经网络(One-Dimensional Convolutional Neural Networks,1D CNN)来自动提取原始数据的特征参数,从而更充分合理地利用原始数据中的信息。1D CNN自动提取的特征分别传递给双向长短时记忆(Bi-directional Long Short-Term Memory,BiLSTM)神经网络和改进的Informer神经网络,分别构建本文所提出的IHBA-1D CNN-BiLSTM和改进的1D CNN-Informer两种新颖的混合神经网络模型。通过引入改进的蜜獾优化算法(Improved Honey Badger Algorithm,IHBA)对混合网络的超参数进行优化,提高模型的预测精度和效率,并利用recurrent dropout使网络沿着时间正确地传播其学习误差而不破坏误差信号,防止过拟合并促进学习过程。考虑到伴随工艺进步下循环寿命更长的超级电容器将产生更大数据量的时序数据,提出改进的1D CNN-Informer模型解决循环神经网络长序列建模的可扩展性有限以及训练过程耗时的弊端,应用改进的Ada Belief优化器以提供更快、更稳定的收敛性能,引入相对位置编码来改进Informer模型,帮助模型更好地适应不同工况下的差异,以有效地学习数据之间的序列关系,降低预测变异性。采用不同数据集中不同工况下的超级电容器老化数据验证模型性能,实验结果证明所提出的模型具有更高的预测精度和更强的泛化能力。同时,不同起始循环次数下的实验结果进一步验证了模型的实用性。最后,考虑了未来下一代电气电子架构并对所提出的模型进行了综合评价,分别从时间成本和训练成本两方面进行了详细的分析,并给出了超级电容器RUL预测策略选择的权衡思路。

关键词：超级电容器剩余使用寿命蜜獾优化相对位置编码混合神经网络

来源：评论

学校读者我要写书评

暂无评论

面向餐饮系统的用户评论文本分类算法的研究与实现

面向餐饮系统的用户评论文本分类算法的研究与实现

引用

作者：刘逸西安电子科技大学

学位级别：硕士

随着互联网技术的迅猛发展,人们可以通过各种在线平台随时随地与其他互联网用户分享自己的真实体验并且进行评论互动。然而当评论文本数量过多时,浏览这些简单堆积的评论需要耗费大量时间,因此将评论文本进行准确的归类划分对高效获取... 详细信息

随着互联网技术的迅猛发展,人们可以通过各种在线平台随时随地与其他互联网用户分享自己的真实体验并且进行评论互动。然而当评论文本数量过多时,浏览这些简单堆积的评论需要耗费大量时间,因此将评论文本进行准确的归类划分对高效获取有价值的信息有着十分重要的意义。传统的文本分类需要耗费大量时间和人力去处理海量数据,随着人工智能的发展,利用深度学习和神经网络处理海量数据、提取关键信息的方法应运而生。本文主要对多标签文本分类过程中的文本表示和文本分类方法进行了研究,通过对多组实验结果进行对比分析,取得了如下研究成果:(1)提出在文本表示模型BERT-wwm中采用相对位置编码的方法中文版BERT-wwm模型在学习绝对位置信息时,需要投入大量额外的时间,而结合生活经验发现绝对位置信息在帮助理解文本中相同单词在不同位置的含义时作用是有限的,人们在理解文本信息时更依赖相对的位置信息。针对这一问题,本文在文本表示模型的嵌入层中使用相对位置编码和序列间相互作用关系的方法,进一步提升了中文版BERT-wwm模型的性能。(2)提出在文本表示模型BERT-wwm中为情感特征词分配更高权重的方法本文在对评论文本等篇幅较短的数据集进行实验时,发现模型不能很好的提取到上下文信息中包含的情感特征,甚至出现预测错误的情况。因此本文在文本表示模型的预训练任务中,对文本的情感特征词分配更高的权重,使模型能够更好的利用文本中有效的情感特征信息,从而提高了文本表示模型预训练任务对目标文本的预测准确率。(3)提出基于改进CNN-LSTM模型的多标签文本分类算法本文首先深入研究基于深度学习的文本分类算法,并详细分析了目前常应用于文本分类场景的卷积神经网络和长短时记忆网络算法,及分别利用以上两种模型各自的优势进行集成的CNN-LSTM文本分类模型;随后针对CNN-LSTM模型在多标签文本分类任务中的不足,本文在CNN-LSTM模型上添加了使用标签共现频率初始化的完全连接层作为最终输出层;最终本文提出的文本分类算法在多标签文本分类任务中获得了较高的准确率。本文通过实验对改进方案进行验证,将改进的文本表示模型和多标签文本分类算法分别用于公开的数据集,并设计多组实验进行分析。结果证明本文提出的改进方案能够有效提升中文版BERT-wwm文本表示模型的性能和文本分类结果的准确率。最后将本文改进方案应用于餐饮项目中评论文本的自动分类,为就餐用户和系统管理人员带来了便利。

关键词：文本分类 BERT-wwm 相对位置编码 CNN-LSTM 标签共现频率

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：