检索结果-内蒙古大学图书馆

计算机工程与应用 2024年第1期60卷 154-164页

作者：刘刚王同礼唐宏伟战凯杨雯莉哈尔滨工程大学计算机科学与技术学院哈尔滨150001 哈尔滨工程大学电子政务建模仿真国家工程实验室哈尔滨150001 澳大利亚普华永道公司普华永道数字化部悉尼2070

目前的主题模型大多数基于自身文本的词共现信息进行建模,并没有引入主题的稀疏约束来提升模型的主题抽取能力,此外短文本本身存在词共现稀疏的问题,该问题严重影响了短文本主题建模的准确性。针对以上问题,提出了一种增强上下文神经主... 详细信息

目前的主题模型大多数基于自身文本的词共现信息进行建模,并没有引入主题的稀疏约束来提升模型的主题抽取能力,此外短文本本身存在词共现稀疏的问题,该问题严重影响了短文本主题建模的准确性。针对以上问题,提出了一种增强上下文神经主题模型(enhanced context neural topic model,ECNTM)。ECNTM基于主题控制器对主题进行稀疏性约束,过滤掉不相关的主题,同时模型的输入变成BOW向量和SBERT句子嵌入的拼接,在高斯解码器中,通过在嵌入空间中将单词上的主题分布处理为多元高斯分布或高斯混合分布,显式地丰富了短文本有限的上下文信息,解决了短文本词共现特征稀疏问题。在WS、Reuters、KOS、20 NewsGroups四个公开数据集上的实验结果表明,该模型在困惑度、主题一致性以及文本分类准确率上相较基准模型均有明显提升,证明了引入主题稀疏约束特性以及丰富的上下文信息到短文本主题建模的有效性。

关键词：神经主题模型短文本稀疏约束变分自编码器主题建模

来源：评论

学校读者我要写书评

暂无评论

面向短文本语义分析的标签条件神经主题模型

引用

计算机工程与应用 2023年第11期59卷 80-87页

作者：王嫄鄢艳玲徐茂玲胡鹏赵婷婷杨巨成天津科技大学人工智能学院天津300457 普迈康(天津)精准医疗科技有限公司天津300000

无监督机器学习方法中的神经主题模型已被广泛用于自动挖掘文本潜在语义。然而,短文本篇幅有限,文中可用于推断的信息匮乏,模型难以在上下文不充分的情况下正确识别歧义词。为此,提出了一种面向短文本语义分析的标签条件神经主题模型,... 详细信息

无监督机器学习方法中的神经主题模型已被广泛用于自动挖掘文本潜在语义。然而,短文本篇幅有限,文中可用于推断的信息匮乏,模型难以在上下文不充分的情况下正确识别歧义词。为此,提出了一种面向短文本语义分析的标签条件神经主题模型,模型采用变分自编码器架构,在编码器输出的主题分布上引入文本的标签信息,作为主题类别级的语义标识符指导模型过滤与当前主题语义不相关的词、凝练语义并辨识歧义词在主题语境下的准确词义,引导模型推断离散一致的主题。针对短文本应用过程中主题语义分布统计显著有偏的数据特点,在模型训练过程中引入泰勒损失,通过调整泰勒多项式系数建模短文本类别分布不平衡。实验结果表明,该模型不仅能够极大提高短文本主题建模的质量,生成连贯且多样的主题,而且能有效提升下游任务性能。

关键词：神经主题模型短文本泰勒损失

来源：评论

学校读者我要写书评

暂无评论

结合神经主题模型生成监督信息的弱监督文本分类方法研究

结合神经主题模型生成监督信息的弱监督文本分类方法研究

引用

作者：王一鸣吉林大学

学位级别：博士

弱监督文本分类方法是自然语言处理领域的重要研究方向之一,能够显著减少监督学习中人工标注样本的巨大成本。弱监督文本分类以类别词为唯一监督信息,利用弱监督分类方法学习强健的分类模型。弱监督文本分类包含两个步骤:1)生成类别词... 详细信息

弱监督文本分类方法是自然语言处理领域的重要研究方向之一,能够显著减少监督学习中人工标注样本的巨大成本。弱监督文本分类以类别词为唯一监督信息,利用弱监督分类方法学习强健的分类模型。弱监督文本分类包含两个步骤:1)生成类别词作为弱监督信息;2)训练弱监督分类模型。在类别词生成阶段,目前主流方法包括直接使用类别描述词、使用浅层主题模型生成等。相比于现有方法,神经主题模型能够为每个类别学习与其语义高度相关、极具代表性的主题词,从而提供更准确的类别词作为监督信息。然而,即便使用语义表达能力很强的类别词作为监督信息,噪声干扰问题仍然较为严重,难以直接学习可靠的分类模型。因此,亟需设计能充分利用、校正弱监督信息的弱监督分类方法。本文面向弱监督文本分类方法两个阶段进行研究,具体工作内容包含三部分:首先,研究神经主题模型,用于生成类别词作为弱监督信息;其次,研究弱监督分类方法,以使用弱监督信息学习可靠的分类模型;最后,将前前两部分工作结合,使用本文提出的神经主题模型生成类别词作为弱监督信息,利用提出的弱监督分类方法进行模型训练,构造结合神经主题模型生成监督信息的弱监督文本分类方法。具体工作包括以下三部分: 1.神经主题模型能够生成充分代表类别信息的类别词。然而,现有方法缺乏对语义信息的合理提取,生成的主题语义表达能力较差,难以生成较为可靠的弱监督信息。针对该问题的三个角度,本文提出以下三方面改进模型: (1)由于短文本稀疏性极强,现有神经主题模型难以学习富含语义信息的主题表示,为此提出基于双词图的短文本神经主题模型DWGTM,通过同时对全局词共现图和词语义相关性图建模,来学习富含语义信息的主题表示,同时缓解短文本的稀疏性问题。实验结果表明,DWGTM能够学习到兼顾词共现信息和语义信息的主题表示。 (2)一些模型使用主题和单词向量内积构造解码器,导致了主题语义信息冗余问题,严重限制了主题的表达能力。为此,面向通用文本数据,提出基于非线性神经主题的去冗余神经主题模型GMNNT。GMNNT为每个主题构造独立的神经主题结构,从而捕获语义空间中单词间的非线性关系,以获得更准确的主题表示。实验结果表明,GMNNT能够明显缓解主题语义信息冗余问题。 (3)面向带有网络链接文本数据时,现有模型难以生成兼顾语义信息和分类判别能力的主题表示,为此,提出针对文档网络的层辅助神经主题模型LANTM,使用两种通道分别对文本内容和网络链接进行编码。同时,设计交互的层辅助方式聚合双通道来学习主题表示。实验结果表明,LANTM能够学习兼顾语义信息和分类判别能力的主题表示。 2.现有弱监督分类方法大多使用自训练方法学习分类模型,难以处理稀疏性较强的弱监督信息,进而无法学习可靠的分类模型。针对该问题的两个角度,本文提出以下两方面改进模型: (1)针对弱监督信息数量极少的问题,面向多分类任务,提出基于Wasserstein正则的标签增强弱监督分类方法WTC-WBR,构造一种通用的弱监督自训练方法,通过结合初始监督信息和模型预测,实现对稀少监督信息的补充与迭代更新。此外,引入Wasserstein重心正则约束,在几何空间对文本深度特征进行约束,以提高其分类判别能力。实验结果表明,WTC-WBR能够有效地对有限的弱监督信息进行补充与校正。 (2)在多标签场景下弱监督信息的稀疏性较强,为此,面向多标签分类任务,提出基于权重排序的类别词生成框架CWS-SRC和基于关系标签传播的弱监督多标签分类方法WMLTC-CLP。CWS-SRC通过对主题词进行重要性排序,从而生成充分代表类别信息的类别词;WMLTC-CLP构造通用的基于文本关系的监督信息传播方法,利用文本近邻关系和标签相关性对弱监督信息进行补充与迭代更新。实验结果表明,CWS-SRC能生成有效的类别词以提供更准确的监督信息;WMLTC-CLP能够对强稀疏性监督信息进行合理的补充与修正。 3.将第一、二部分工作结合,使用第一部分工作提出的神经主题模型生成类别词作为弱监督信息,使用第二部分工作提出的弱监督分类方法训练分类模型并进行性能验证。具体工作为:首先,基于类别词生成框架CWS-SRC,使用3种神经主题模型DWGTM、GMNNT和LANTM综合生成类别词;其次,将该类别词用作弱监督信息,使用第二部分工作提出的弱监督分类方法WTC-WBR和WMLTC-CLP训练分类模型并进行性能验证。实验结果表明,相比于使用其他神经主题模型对比方法生成和其他类别词设定,使用本文提出的神经主题模型生成监督信息具有更佳的分类性能,进而表明本文的研究思路——结合神经主题模型生成监督信息的弱监督文本分类方法是可行、有效的。

关键词：弱监督文本分类神经主题模型弱监督分类方法多标签分类

来源：评论

学校读者我要写书评

暂无评论

基于神经主题模型的单细胞测序数据优化方法研究

基于神经主题模型的单细胞测序数据优化方法研究

引用

作者：戚越洋云南师范大学

学位级别：硕士

单细胞RNA测序(scRNA-seq)技术的发展,提供了一种从更高的单细胞分辨率和不同角度来研究转录组以及细胞间差异的方法。尽管scRNA-seq具有高捕获效率,但过多的零值,包括称为dropout的“假零值”,使得数据分析变得困难。空间转录组学(Spat... 详细信息

单细胞RNA测序(scRNA-seq)技术的发展,提供了一种从更高的单细胞分辨率和不同角度来研究转录组以及细胞间差异的方法。尽管scRNA-seq具有高捕获效率,但过多的零值,包括称为dropout的“假零值”,使得数据分析变得困难。空间转录组学(Spatial transcriptomics,ST)是一项开创性技术,在单细胞研究中发挥着重要作用。它不仅可以测量基因表达并保留空间信息,还能提供细胞在组织中的准确位置。然而,在如何结合两种数据的研究方法上面临着诸多挑战,包括可解释性、数据整合、数据质量提升、反卷积以及数据分析等问题。本文尝试基于神经主题模型来对上述问题提出解决方法。主要工作包含两个方面: 第一部分:针对scRNA-seq数据的插补,提出了sc NTImpute,这是一个基于神经主题模型的插补框架。首先,利用神经网络编码器提取单细胞转录组数据的潜在主题特征,并推断出高质量的细胞相似性。另外对潜在主题特征进行富集分析及显著性检验,以此体现模型的可解释性。其次,利用神经网络对能判断出缺失值的混合模型进行学习,从而识别出受到辍学现象影响的转录组数据。最后,在稳定的细胞相似性基础上,借用其他相似细胞中的相同基因信息,只对缺失的基因表达数据进行插补,且不会对其他真实基因表达数据造成影响。第二部分:在scRNA-seq数据精准插补,即数据质量提高的基础上,结合与ST数据的研究,提出了一种新的空间反卷积方法NTMST。首先,通过执行神经网络编码器来对NTMST预训练,并从注释的单细胞转录组中发现与单个细胞相关的主题,同时将其映射成每个细胞类型的主题分布。然后,利用训练好的NTMST来推断空间转录组学中与位置相关的主题分布。最终通过联合两种数据的潜在主题混合物,从而实现对空间转录组数据的细胞类型分解。实验结果表明,sc NTImpute在处理多物种单细胞数据集时,不仅能够有效地识别和插补缺失值,而且在提升细胞子集聚类效果方面表现突出。通过准确地恢复被技术噪声掩盖的原始生物信息,该方法为单细胞数据的后续分析提供了更可靠的基础。与此同时,反卷积方法NTMST利用真实的空间转录组学数据,验证了其在预测细胞类型比例方面的准确性和敏感性。通过生成能够准确反映细胞类型空间特征的主题,NTMST不仅提高了空间聚类的分辨率,还为理解细胞间复杂的空间关系和相互作用提供了有力工具。

关键词： scRNA-seq数据空间转录组学神经主题模型

来源：评论

学校读者我要写书评

暂无评论

基于预训练语言模型和嵌入空间的神经主题模型研究

基于预训练语言模型和嵌入空间的神经主题模型研究

引用

作者：张振伟长春工业大学

学位级别：硕士

近些年来,互联网技术的发展极大的改变了人们的生产生活方式。各种社交媒体的发展和产业信息化的深入使文本数据呈现出指数级的增长。这些海量的文本数据中包含许多有价值的信息,如何发掘其中的信息非常具有研究价值和意义。神经主题模... 详细信息

近些年来,互联网技术的发展极大的改变了人们的生产生活方式。各种社交媒体的发展和产业信息化的深入使文本数据呈现出指数级的增长。这些海量的文本数据中包含许多有价值的信息,如何发掘其中的信息非常具有研究价值和意义。神经主题模型是一种可以通过无监督学习从海量数据中自动挖掘潜在主题信息的技术,已成为从文本文档中诱导潜在主题的最先进的无监督技术之一。虽然现有的神经主题模型已经取得卓越的性能,但仍有改进的空间。针对现有基于外部信息融合的神经主题模型的语义信息融合不充分问题,本文提出一种基于预训练语言模型增强上下文语义信息的神经主题模型以及其改进模型。此外,针对基于嵌入式的神经主题模型的嵌入空间优化和约束不完善问题,本文提出一种基于嵌入空间优化与约束的神经主题模型。本文主要工作包括以下三点: (1)神经主题模型常因为其输入的文本信息缺失,导致无法获得高质量的主题。一些工作将预训练语言模型的语义信息融入神经主题模型之中来缓解文本信息缺失问题,如CTM(Combined Topic Model)。然而,其直接将预训练模型的文本信息作为神经主题模型输入的方式很难充分利用预训练语言模型中的信息。针对此问题,本文提出基于预训练语言模型增强上下文语义信息的神经主题模型(Neural Topic Model Enhanced with Contextual Information Based on Pretrained Language Model,EGLs TM)来补充模型的语义信息。EGLs TM结合预训练语言模型,在全局上下文语义信息和局部上下文语义信息两个维度对神经主题模型进行语义补充。通过在多个不同数据集上的实验表明,本模型在主题连贯性方面比表现最好的基线模型平均提高7%,主题质量则平均提高4%。 (2)本文提出的EGLs TM模型在融合隐空间文本信息时,使用拼接融合的方法,导致隐空间特征不均匀,使模型过于关注上下文语义信息而忽略词频信息。针对此问题,本文进一步提出EGLs TM的改进模型(Topic Model Enhancing Global and Local Semantic Information with Word Embedding,EGLs TM-E),它改善EGLs TM隐空间特征不均匀、结构冗余等问题,进一步提升模型的性能。在主题质量方面,该模型在EGLs TM的基础上提升2%～4%。 (3)现有的基于嵌入式的神经主题模型缺少对主题-词分布的约束,任意其优化方向,这会导致主题不可解释。近些年,虽然出现许多新模型对嵌入空间进行约束,但大多单独对主题连贯性和主题多样性之中的一方面开展工作,很少能同时针对主题连贯性和主题多样性进行优化,例如NTMR、GMNNT(Generative Model with Nonlinear Neural Topics)。针对此问题,本文提出一种基于嵌入空间优化与约束的神经主题模型(Neural Topic Model Based on Embedding Space Optimization and Constraints,NTM-NSC)。NTM-NSC模型构建的嵌入空间能够直观的学习主题与词之间的非线性关系,缓解主题的冗余问题,提高主题的多样性。同时,通过构造主题连贯性约束来指导嵌入空间的优化方向,保证主题的连贯性。通过在多个数据集上的实验表明,NTM-NSC相较于基线模型在主题质量上提高大约4%～10%。

关键词：神经主题模型语义补充预训练模型嵌入空间主题约束

来源：评论

学校读者我要写书评

暂无评论

基于预训练BERT的神经主题模型研究

基于预训练BERT的神经主题模型研究

引用

作者：刘阳长春工业大学

学位级别：硕士

神经主题模型旨在利用神经网络的灵活性来学习更加复杂的主题表示。相比概率主题模型,神经主题模型可以更好地捕捉数据中的非线性关系,进而提高模型的表达能力。传统的神经主题模型可以捕获文本全局语义结构,被广泛用于学习文本表示和... 详细信息

神经主题模型旨在利用神经网络的灵活性来学习更加复杂的主题表示。相比概率主题模型,神经主题模型可以更好地捕捉数据中的非线性关系,进而提高模型的表达能力。传统的神经主题模型可以捕获文本全局语义结构,被广泛用于学习文本表示和分析文本集,但其基于词袋向量的输入方式忽略了词汇顺序和语义关系。随着预训练语言模型在自然语言处理领域的广泛应用,结合预训练语言模型思想的主题模型焕发出新的生机。鉴于目前还没有标准的方法将预训练语言模型和神经主题模型结合起来,本文建立了两种基于预训练BERT的神经主题模型: (1)本文建立了一种基于预训练BERT引导的嵌入式主题模型(pre-trained BERTguided Embedding-based Topic Model,BETM)。通过预训练BERT对主题-词分布和文本-主题分布的约束,BETM能够从BERT嵌入中学习主题信息、词序信息以及深层语义信息。本文还建立了两种预处理解决方案,旨在解决BERT模型在处理短文本输入时上下文信息不足以及处理长文本输入时语义截断的问题。实验发现,BETM的词嵌入比预训练Glo Ve词嵌入更适合应用于主题建模,因而BETM可以灵活选择不同变体的预训练BERT用于特定数据集,以获得更好的主题质量。此外,即使包含停止词,BETM也擅长处理大量的长尾词汇。BETM在Yelp Review Polarity、Wiki Text103、Open-Web-Text、20Newsgroups和AG-news数据集上,分别实现了22.9%、13.83%、8.7%、6.0%和3.7%的主题质量提升。 (2)BERT主要是为词或短语级别的任务而设计,而Sentence-BERT在学习句子表示时更加注重句子间的语义相似度。这使得Sentence-BERT在处理句子相似度计算、句子匹配等任务时表现更好。因此本文建立一种基于Sentence-BERT自监督的神经主题模型(Self-Supervised Topic Model with Sentence-BERT,STM)。不同于BETM,STM使用预训练文本嵌入作为输入并保留对预训练文本嵌入的重构能力。STM利用预训练的文本嵌入和词袋表示共同约束潜在文本-主题分布,并生成与预训练文本嵌入高度相关的主题嵌入。主题嵌入为STM实现自监督学习提供了依据,进而使模型更善于分析出文本中各个主题的分布情况。STM在IMDb、CNN-Daily-Mail、Wiki Text103、20Newsgroups和Yelp Review Polarity数据集上,分别实现了29.7%、16.7%、7.8%、6.2%和5.5%的主题质量提升。

关键词：神经主题模型预训练BERT 主题嵌入文本语义自监督学习

来源：评论

学校读者我要写书评

暂无评论

基于数据知识驱动的多任务神经主题模型研究

基于数据知识驱动的多任务神经主题模型研究

引用

作者：徐茂玲天津科技大学

学位级别：硕士

近年来,文本成为网络中获取信息的重要来源,对于文本信息的挖掘与分析变得尤为关键。主题模型作为一种挖掘文本语义的有效方式,目前被广泛应用于自然语言处理各个领域的任务中。随着互联网技术的高速发展,网络中的文本逐渐呈现规模大、... 详细信息

近年来,文本成为网络中获取信息的重要来源,对于文本信息的挖掘与分析变得尤为关键。主题模型作为一种挖掘文本语义的有效方式,目前被广泛应用于自然语言处理各个领域的任务中。随着互联网技术的高速发展,网络中的文本逐渐呈现规模大、种类多、内容丰富等特点。过去研究者关注如何得到指标更优的文本主题,却忽略了复杂文本应用场景中数据知识的运用和主题模型的适应性,从而导致了一系列问题,例如无法充分利用神经主题模型的优势来扩展其应用、难以解释所挖掘到的主题信息等。这些问题造成了主题模型的推广和应用受阻。为解决上述问题,本文以场景化神经主题模型为研究对象,以文本匹配任务为典型应用场景,提出了基于数据知识驱动的多任务神经主题模型,期望能够促进主题模型的广泛应用,推动文本信息挖掘向前发展。本文的主要工作内容如下。 (1)基于当前神经主题模型存在的问题,本文以文本匹配任务为例,实践分析任务典型数据集数据特征的方法,并对数据集样本长度、标签分布等进行统计分析,对重难点文本进行举例分析。分析发现,辅助任务数据及外部扩展知识的融入可有效丰富对于文本语义的理解,在强化文本表达的同时也能够引导模型关注额外的显式信息。 (2)在基于数据驱动模型的研究中,针对目前神经主题模型无法充分利用场景文本附带的粗粒度数据的问题,本文提出了一种由主题监督数据指导的多任务联合训练神经主题模型。一方面,通过结合辅助任务训练纳入了显式的预定义主题监督信号,显式地约束了文本间一致的主题对应关系;另一方面,通过文本主题建模纳入了隐式的可自学习主题监督信号,隐式地适应了文本全局性潜在主题结构。在多任务学习框架下结合上述两种类型的主题监督数据,实现了文本表征和多任务训练间的互利互补。实验结果表明,改进后的模型通过多任务学习方法补充了显式和隐式的主题信息,大大改善了在两个公共数据集上的文本匹配性能,尤其是在具有挑战性的短文本匹配上表现突出。 (3)在基于知识驱动模型的研究中,针对目前神经主题模型缺乏语言知识难以稳定描述文本语义的问题,本文提出了一种由外部同义知识引导的多任务联合训练神经主题模型。一方面,通过从外部知识库中引入文本同义知识,扩展文本语义,增强文本相似度量的离散程度;另一方面,在模型内部采用卷积神经网络挖掘局部语义关联,关注文本间差异信息,并进行多粒度语义交互及优化,从而使文本主题更加明确且语义一致。实验结果表明,所提出的方法明显优于目前先进的神经网络方法,有效提升了模型准确性及鲁棒性。

关键词：神经主题模型文本匹配辅助数据外部知识多任务学习

来源：评论

学校读者我要写书评

暂无评论

基于跨语言神经主题模型的汉越新闻话题发现方法

引用

计算机应用 2021年第10期41卷 2879-2884页

作者：杨威亚余正涛高盛祥宋燃昆明理工大学信息工程与自动化学院昆明650500 云南省人工智能重点实验室(昆明理工大学) 昆明650500

针对汉越跨语言新闻话题发现任务中汉越平行语料稀缺,训练高质量的双语词嵌入较为困难,而且新闻文本一般较长导致双语词嵌入的方法难以很好地表征文本的问题,提出一种基于跨语言神经主题模型(CL-NTM)的汉越新闻话题发现方法,利用新闻的... 详细信息

针对汉越跨语言新闻话题发现任务中汉越平行语料稀缺,训练高质量的双语词嵌入较为困难,而且新闻文本一般较长导致双语词嵌入的方法难以很好地表征文本的问题,提出一种基于跨语言神经主题模型(CL-NTM)的汉越新闻话题发现方法,利用新闻的主题信息对新闻文本进行表征,将双语语义对齐转化为双语主题对齐任务。首先,针对汉语和越南语分别训练基于变分自编码器的神经主题模型,从而得到单语的主题抽象表征;然后,利用小规模的平行语料将双语主题映射到同一语义空间;最后,使用K-means方法对双语主题表征进行聚类,从而发现新闻事件簇的话题。实验结果表明,所提方法相较于面向中英文的隐狄利克雷分配主题改进模型(ICE-LDA)在Macro-F1值与主题一致性上分别提升了4个百分点与7个百分点,可见所提方法可有效提升新闻话题的聚类效果与话题可解释性。

关键词：跨语言主题对齐神经主题模型 K-means聚类话题发现

来源：评论

学校读者我要写书评

暂无评论

基于词间特征的神经网络主题模型研究

基于词间特征的神经网络主题模型研究

引用

作者：万太英哈尔滨工程大学

学位级别：硕士

主题模型是从非结构化文档集合中进行知识挖掘的常用方法之一,目前已经大量的应用于常规文本建模。在文本特征降维、文本主题挖掘以及基于文本分析的推荐系统中,都能够看到其活跃的身影。然而,由于现代社会节奏的不断加快,网络中的大量... 详细信息

主题模型是从非结构化文档集合中进行知识挖掘的常用方法之一,目前已经大量的应用于常规文本建模。在文本特征降维、文本主题挖掘以及基于文本分析的推荐系统中,都能够看到其活跃的身影。然而,由于现代社会节奏的不断加快,网络中的大量信息都是以短文本的形式出现,如微博、朋友圈以及各类评论等,这给主题模型的发展带来了新的挑战。目前的主题模型大多数仅仅基于自身文本的词共现信息进行建模,而文本中的每个词对于文章主题的影响力却是不同的。此外短文本本身语句较少,天然存在着文本特征稀疏以及词共现特征稀疏的问题,该问题严重的影响了短文本主题建模的效果。针对以上问题,本文将结合传统机器学习方法与卷积神经网络框架进行建模,最后通过神经网络结构参数化。研究的主要内容如下:(1)引入词间特征。在文档建模过程中,对于每个词,不再单独以词频作为特征权重,而是考虑到词间的相互关系,根据多种词间特征表示出词对主题的影响力,并以此作为权重,在吉布斯采样过程的公式中引入选中的词特征信息,结合词频进行建模。(2)优化词对构造算法。传统的词对构造算法为了补充文档信息而将所有的单词两两组对,虽然一定程度上补充了信息,但大量的引入了噪声,本文基于词间相似度等词间特征设计了一种自适应词对构造算法,根据动态阈值对生成的词对质量进行把控,很好的控制了词对数量与质量的平衡。(3)多维卷积神经主题模型MCNTM(Multi-dimension Convolutional Neural Topic Model)的构建。MCNTM将文档-主题矩阵以及主题-词矩阵嵌入到输入层中,在全局层面进行特征增强。在卷积层中,同时采用不同大小的卷积核,捕捉了不同维度下文档的语义特征,并在更高的层次进行拼接,在多种维度进行了特征增强,极大的丰富了短文本有限的特征信息。本文通过引入词间特征、采用自适应词对构造算法以及多维文本特征提取的方式,解决了短文本词共现特征稀疏的问题。实验结果表明,MCNTM在困惑度、文本分类准确率和主题一致性等指标上都有了较为不错的提升。证明了本文提出的MCNTM的确在一定程度上解决了短文本特征不足的问题。

关键词：神经主题模型短文本词间特征自适应词对构造算法

来源：评论

学校读者我要写书评

暂无评论

融入全局信息的抽取式摘要研究

引用

计算机科学 2023年第4期50卷 188-195页

作者：张翔毛兴静赵容梅琚生根四川大学计算机学院成都610065

抽取式自动文本摘要旨在从原文中抽取最能表示全文语义的句子组成摘要,由于具有简单高效的特点被广泛地应用和研究。目前,抽取式摘要模型大多基于句子间的局部关系得到重要性得分,从而选择句子,这种方式忽略了原文的全局语义信息,模型... 详细信息

抽取式自动文本摘要旨在从原文中抽取最能表示全文语义的句子组成摘要,由于具有简单高效的特点被广泛地应用和研究。目前,抽取式摘要模型大多基于句子间的局部关系得到重要性得分,从而选择句子,这种方式忽略了原文的全局语义信息,模型更容易受到局部非重要关系的影响。因此,提出一种融入全局语义信息的抽取式摘要模型。该模型在得到句子和文章的表示后,通过句子级编码器和全局信息提取模块学习句间关系以及全局信息,再将提取到的全局信息融入句向量中,最后得到句子得分以决定其是否为摘要句子。所提模型可以实现端到端的训练,并且在全局信息提取模块采用了基于方面抽取和神经主题模型两种全局信息提取技术。在公开数据集CNN/DailyMail上的实验结果验证了模型融入全局信息的有效性。

关键词：抽取式文本摘要全局信息方面抽取神经主题模型

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：