检索结果-内蒙古大学图书馆

作者：向彦铮东南大学

学位级别：硕士

知识库是解决特定领域问题所需要的相互关联的知识片段的集合,采用某种知识表示方式在计算机中存储、组织、管理和使用。常见的知识库包括了知识图谱、关系数据库等。知识图谱是一种半结构化、语义化的知识表达方式,能表达实体、属性、... 详细信息

知识库是解决特定领域问题所需要的相互关联的知识片段的集合,采用某种知识表示方式在计算机中存储、组织、管理和使用。常见的知识库包括了知识图谱、关系数据库等。知识图谱是一种半结构化、语义化的知识表达方式,能表达实体、属性、关系等信息,被广泛应用到搜索引擎、智能客服、个性化推荐等领域。关系数据库是一种传统的数据存储方式,具有数据严谨、易于管理和查询的特点,被广泛应用到企业管理、政府管理、电子商务等领域。本文旨在研究基于知识库的问答方法,其意义在于为人们提供无障碍、简单的访问知识库的方式。本文的研究主要关注于面向知识图谱的问答方法和面向关系数据库的问答方法,并分别针对它们当前存在的挑战进行改进,所提出的方法均基于编码器-解码器框架。针对知识图谱问答的多跳(每一条关系路径的长度大于1,即需要进行多步推理才能找到答案)、多路径(对一个问题,在知识图谱中存在多条关系路径能够找到答案)挑战,本文提出了一种基于编码器-解码器框架与分而治之策略的方法将关系路径生成拆分为首关系检测、条件关系路径生成来解决这两个挑战:(1)对于多跳挑战,该方法在条件关系路径生成模块中采用了循环神经网络来在给定首关系的情况下生成剩余的关系路径,动态的确定路径的长度;(2)对于多路径挑战,该方法在首关系检测模块中采用了一种混合注意力机制来捕获问题中不同的主题实体与知识图谱中关系之间的语义联系,找到可能的首关系集合。在推理阶段,本文还设计了一种路径采样算法,来生成更加丰富的关系路径,并通过多数票机制来整合多路径的结果,得到最终问题的答案。所提出的方法在FreebaseQA数据集上进行了大量的对比实验和消融实验并取得了最先进的性能,实验结果证明了各个创新点的合理性和有效性。针对关系数据库问答的复杂(SQL查询语法结构复杂,包括多表连接、嵌套查询以及HAVING、GROUPBY等复杂的子句)、跨领域(数据库在训练集和测试集之间没有重叠,属于不同的领域)挑战,本文提出了一种基于图引导解码与知识增强重排序的方法来解决这两个挑战:(1)对于生成复杂SQL语句挑战,该方法设计了抽象语法树(Abstract Syntax Tree,AST)-语法二部图来共同建模AST与语法规则,并提出了一个图引导的SQL解码器来在解码过程中捕获AST结构信息,它对于复杂SQL语句的生成至关重要;(2)对于跨领域挑战,由于引入领域知识是解决跨领域挑战的关键,该方法提出了一种知识增强的重排序算法来引入领域知识来弥补不同领域之间的差距,通过对多条候选SQL语句进行重排序来选择出最终的答案。所提出的方法在Spider、SpiderDK数据集上进行了大量的对比实验和消融实验,并在两个数据集都取得了最先进的性能,实验结果也证明了各个创新点的合理性和有效性。

关键词：知识图谱问答关系数据库问答编码器-解码器框架

来源：评论

学校读者我要写书评

暂无评论

面向场景文字识别的编码器--解码器框架研究

面向场景文字识别的编码器--解码器框架研究

引用

作者：乔峙中国科学院大学

学位级别：硕士

文字作为人类生活中重要的信息载体，是生活中必不可少的组成元素。如今随着互联网的发展，数据的传输量与日俱增。简单的文本数据已经无法满足人们日常的工作与生活需求，图像与视频等多媒体数据渐渐成为主流的传输格式。因此，利用计... 详细信息

文字作为人类生活中重要的信息载体，是生活中必不可少的组成元素。如今随着互联网的发展，数据的传输量与日俱增。简单的文本数据已经无法满足人们日常的工作与生活需求，图像与视频等多媒体数据渐渐成为主流的传输格式。因此，利用计算机从图像中阅读相应的文字信息也成为了很多应用必不可少的前置技术，如图像检索、智能推荐、智慧教育和安全信息检测等。　　从图像中提取文字信息可以大致分为文字检测与文字识别两个关键步骤，其中文字检测是定位图像中文字的位置，而文字识别是将相应的文字区域图像转换成计算机可以编辑的文字格式。文字识别作为其中的关键技术近年来受到越来越多的关注。随着深度学习的发展，尽管识别效果得到了显著的提升，但现阶段依旧存在以下问题:一、现有基于注意力机制的方法仅依赖于图像局部特征，缺乏有效的全局信息指导，从而导致模型对模糊、遮挡等低质量图像不鲁棒;二、现有基于注意力机制的方法预测的注意力权重缺少显式的监督与约束，因此模型易出现注意力偏移与注意力弥散等问题。进一步，不准确的注意力权重会引入额外的噪声特征，从而导致识别的错误;三、现有的方法常采用非自回归或自回归两种解码方式，其中非自回归解码并行地预测所有字符，自回归解码常采用一种从左向右逐个字符的预测方式，两种解码方式在速度与准确率方面分别有各自的优势，现阶段尚未有工作尝试融合二者的优点。针对上述问题，本文的主要工作和创新成果如下:　　(1)基于语义增强编码器-解码器框架的场景文字识别方法:该框架提出了语义模块预测全局语义信息辅助文字识别过程，并提出使用预训练好的语言模型提供相应的词向量监督预测的全局语义信息，进而解决了仅使用局部特征导致的低质量图像文字识别问题。　　(2)基于高斯约束注意力机制网络的场景文字识别方法:该网络在现有方法基础上引入高斯分布的假设，提出了高斯约束矫正模块对预测的注意力权重进行矫正，解决了注意力偏移和弥散的问题，提升了模型的识别准确率。　　(3)基于并行迭代模仿解码网络的场景文字识别方法:该方法结合了自回归与非自回归解码的优点，提出一种并行迭代解码策略，该策略解决了准确率与效率平衡的问题。同时该方法提出使用模仿学习改善并行解码器的隐层学习问题。

关键词：图像转换文字识别编码器-解码器框架注意力机制

来源：评论

学校读者我要写书评

暂无评论

基于ResNet18特征编码器的水稻病虫害图像描述生成

引用

农业工程学报 2022年第12期38卷 197-206页

作者：谢州益冯亚枝胡彦蓉刘洪久浙江农林大学数学与计算机科学学院杭州311300 浙江省林业智能监测与信息技术研究重点实验室杭州311300 林业感知技术与智能装备国家林业与草原局重点实验室杭州311300

针对图像描述算法缺乏在农业领域中的应用,传统模型参数庞大的问题,该研究提出一种基于ResNet18特征编码器的图像描述算法,对作物患病类型进行识别并生成描述。首先,建立水稻病虫害图像描述数据集。其次,使用浅层ResNet18作为编码器,在... 详细信息

针对图像描述算法缺乏在农业领域中的应用,传统模型参数庞大的问题,该研究提出一种基于ResNet18特征编码器的图像描述算法,对作物患病类型进行识别并生成描述。首先,建立水稻病虫害图像描述数据集。其次,使用浅层ResNet18作为编码器,在保证特征提取能力的同时缩减网络模型大小,解码器使用融合了注意力机制的长短期记忆网络(Long Short Term Memory,LSTM)来生成图像描述。试验结果表明,改进后模型尺寸大小为原来的1/3,经过6000次迭代后模型基本收敛,准确率达到98.48%。在水稻病虫害图像描述数据集上,改进编码器-解码器结构后的双语评估替换值(Bilingual Evaluation Understudy,BLEU)和METEOR(Metric for Evaluation of Translation with Explicit ORdering)分别达到0.752和0.404,其余指标结果也明显优于其他模型,具有描述细致准确、鲁棒性强等优点,能够更好地适用于小规模数据集上的训练,可为农作物相似病害特征的自动化描述提供有益参考。

关键词：农业算法图像描述水稻病虫害编码器-解码器框架 ResNet18 注意力机制

来源：评论

学校读者我要写书评

暂无评论

结合全局-局部特征和注意力的图像描述方法

引用

计算机工程与应用 2022年第12期58卷 218-225页

作者：谢琦彬陈平华广东工业大学计算机学院广州510006

为了进一步提高图像描述生成文本的精度,提出一种结合全局-局部特征和注意力机制的图像描述方法。该方法在传统的编码器-解码器模型上进行改进,从整体角度来看,编码器阶段使用残差网络ResNet101提取图像的全局特征和局部特征,以避免对... 详细信息

为了进一步提高图像描述生成文本的精度,提出一种结合全局-局部特征和注意力机制的图像描述方法。该方法在传统的编码器-解码器模型上进行改进,从整体角度来看,编码器阶段使用残差网络ResNet101提取图像的全局特征和局部特征,以避免对象丢失或对象预测错误问题,在解码器阶段采用嵌入改进后的注意力机制的双向GRU生成文本序列。从局部角度来看,该模型提出的注意力机制是一种独立的循环结构,通过计算图像局部特征向量与语义向量之间的相似度来获取注意力权重,增强图像特征与语义信息之间的映射。在MSCOCO数据集上的实验结果显示,该算法在BLEU、CIDEr、METEOR等评价指标上均获得了不同程度的提升,表明使用该模型生成的描述文本准确度高且细节丰富。

关键词：图像描述注意力机制编码器-解码器框架全局特征局部特征

来源：评论

学校读者我要写书评

暂无评论

基于知识图谱的贴片机故障诊断技术研究及应用

基于知识图谱的贴片机故障诊断技术研究及应用

引用

作者：鲍怡蕾东南大学

学位级别：硕士

贴片机作为一种重要的电子元器件自动化贴装设备,发生故障可能导致严重的安全问题,而贴片机的故障诊断通常依赖于专家经验和历史故障案例,对维修人员的专业性有较强的依赖性,存在诊断效率低、诊断精度不高、无法有效利用历史案例等问题... 详细信息

贴片机作为一种重要的电子元器件自动化贴装设备,发生故障可能导致严重的安全问题,而贴片机的故障诊断通常依赖于专家经验和历史故障案例,对维修人员的专业性有较强的依赖性,存在诊断效率低、诊断精度不高、无法有效利用历史案例等问题。本文旨在构建一个贴片机领域知识图谱,并将其应用于贴片机故障辅助诊断,从而提高贴片机故障诊断的准确性和效率。本文主要工作包括两个部分: 1)构建贴片机领域知识图谱。通过深入调研贴片机生产过程,并分析了跨时7个月,3655条的贴片机故障案例数据,采用自顶向下的知识建模方法学,构建贴片机领域知识图谱。首先,通过领域专家设计并定义高质量和高可用性的贴片机领域本体;其次,采用基于词库的命名实体识别技术抽取贴片机领域相关实体,并通过基于规则方法提取实体关系,初步构建知识图谱;然后,在知识融合阶段,通过实体对齐和实体消歧进一步提升知识图谱的质量;最后,将贴片机领域知识图谱存储于图数据库。贴片机领域知识图谱包括5个概念,2个属性,2546实体,4692实体属性,29837三元组。 2)提出一种引入图特征注入器的知识图谱嵌入模型,并应用于贴片机故障辅助诊断。首先,为了缓解在知识图谱嵌入模型引入图卷积网络带来的庞大资源消耗问题,采用了融合图卷积网络和知识图谱嵌入模型的编码器-解码器框架,通过在编码器中引入图特征注入结构,减小图卷积网络的计算规模。具体而言,对每个实体,保留实体原始表征,同时在图卷积网络中,使用低维向量来初始化该实体对应的节点,该节点经过图卷积网络映射得到新的特征向量,作为实体图表征,然后将实体图表征注入到实体原始表征中,得到实体最终向量表示。其次,使用引入图特征注入结构的知识图谱嵌入模型,对贴片机领域知识图谱进行表示学习。然后,根据诊断需求构建缺损三元组,通过链接预测的方式,同时辅以规则筛选,得到故障诊断结果,从而实现贴片机故障辅助诊断。最后,通过访问控制技术增强故障诊断系统的安全性水平。在公开数据集FB15k-237和WN18RR上的实验结果表明,引入图特征注入结构的模型,相比于原始编码器-解码器框架模型,在节约了大量内存和计算资源同时,保持优秀的知识图谱嵌入性能。此外,将上述知识图谱嵌入模型应用于实际贴片机故障诊断场景,实验结果表明,故障诊断性能不仅优于传统基于统计的方法,而且超过现有基于知识图谱嵌入的方法,验证了基于知识图谱的贴片机故障诊断技术的有效性和可行性。

关键词：贴片机知识图谱知识图谱嵌入图卷积网络编码器-解码器框架

来源：评论

学校读者我要写书评

暂无评论

基于多层感知型编解码预测器的图像描述生成方法研究

基于多层感知型编解码预测器的图像描述生成方法研究

引用

作者：王修贤桂林电子科技大学

学位级别：硕士

图像描述任务是人工智能领域的一项重要任务,其研究动机是使计算机具有“看图说话”的能力。目前,该技术在图像-文本检索和残疾人的日常生活辅助等任务中有着广泛应用,未来在视觉机器人、各种视觉智能服务中都具有广泛的应用价值。近年... 详细信息

图像描述任务是人工智能领域的一项重要任务,其研究动机是使计算机具有“看图说话”的能力。目前,该技术在图像-文本检索和残疾人的日常生活辅助等任务中有着广泛应用,未来在视觉机器人、各种视觉智能服务中都具有广泛的应用价值。近年来,凭借自注意力机制强大的长距离依赖关系建模能力,基于自注意力机制的Transformer网络在图像描述任务中取得了优异的性能。但Transformer模型复杂的结构设计和低下的计算效率严重阻碍了其在图像描述生产任务中的实际应用。近期,多层感知机模型(Multi-Layer Perceptron,MLP)在平衡性能和计算成本方面取得了卓越表现。针对上述问题,本文提出以下三种基于多层感知机模型的图像描述生成方法来实现性能和计算成本的有效平衡。1)针对在直接使用图像的网格状特征作为Transformer模型的输入时,引入相对位置编码带来额外的参数和计算开销的问题,提出了局部-全局多层感知型Transformer(Local and Global Multi-Layer Perceptive Transformer,LG-MLFormer)模型,设计了局部-全局多层感知机(Local-Global MLP,LG-MLP)模块作为LG-MLFormer模型的核心算子。LG-MLP由两个独立的局部多层感知机(Local-MLP,LM)模块和一个跨域全局多层感知机(Cross-Domain Global MLP,CDGM)模块组成。LM模型块通过专门设计线性层之间的映射维度来模拟网格状特征的空间信息,在无需引入相对位置编码的情况下实现空间信息的自我补偿。CDGM模块通过非线性门控机制有效地捕捉了图像的网格状特征和区域特征之间的潜在关联。实验结果表明,提出的LG-MLFormer模型能够生成比目前主流图像描述方法更加准确的图像文本描述。2)针对自注意力机制忽略了不同图像之间的潜在关联性以及无法捕获不同特征间的内部与外部关系信息的问题,提出了一种内部-外部多层感知型编解码预测器(Internal-External Multi-Layer perceptual Transformer,IE-MLFormer)。在编码阶段,提出的内外联控机制和正则化多层感知机模块设计了一种全新的内部-外部多层感知机(Internal-External Multi-Layer Perceptrons,IE-MLP)编码器,使得捕获的视觉语义信息更加丰富。实验结果表明,与主流方法相比,IE-MLFormer在基于MSCOCO的区域特征上取得了先进性能。与基线模型相比整体性能提升8.3%。3)针对Transformer模型结构复杂的和计算效率低下的问题,提出了一个完全基于MLP模块的编解码模型跨域自适应网络(Cross-Modal Adaptive Network,CMANet)。CMANet通过基于动态权重的线性映射来学习视觉和文本特征之间的潜在语义关联,并使用双向解码结构来利用图像到文本和文本到图像的关系。该架构显著提高了跨模态关系建模和语言生成的能力。对MS-COCO数据集的研究结果表明,CMANet在具有更少的参数量和更快的推理速度的同时,性能优于标准的Transformer网络。

关键词：图像描述多层感知机 Transformer模型编码器-解码器框架

来源：评论

学校读者我要写书评

暂无评论

非自回归图像描述生成算法研究

非自回归图像描述生成算法研究

引用

作者：齐保坤大连理工大学

学位级别：硕士

随着计算机视觉和自然语言处理的不断发展，作为两者交叉领域的图像描述生成任务，愈发受到学术界与工业界的关注，在现实世界中也广泛应用。现有图像描述生成方法采用自回归方法进行描述生成，具有较高的推理延迟，影响模型在现实世界... 详细信息

随着计算机视觉和自然语言处理的不断发展，作为两者交叉领域的图像描述生成任务，愈发受到学术界与工业界的关注，在现实世界中也广泛应用。现有图像描述生成方法采用自回归方法进行描述生成，具有较高的推理延迟，影响模型在现实世界中的部署和应用，因此图像描述生成模型需要使用非自回归方法进行描述生成。　　非自回归图像描述生成算法能够大幅提升模型推理速度，但模型性能与自回归方法相比仍有差距。在本文中，提出了两种非自回归图像描述生成方法：基于语义检索的非自回归图像描述生成算法与基于知识蒸馏的非自回归图像描述生成算法，同时在大规模数据集上验证了它们的性能。　　非自回归模型由于无法获取当前时刻之前生成的单词，因此存在输入缺失的问题。本文提出的基于语义检索的非自回归图像描述生成算法（SRNIC），使用编码器阶段得到的视觉理解特征在词向量矩阵上进行检索，获取相似度较高的语义特征作为非自回归模型的输入，丰富了输入中蕴含的语义特征，提升了非自回归模型的生成质量。　　由于多峰问题的影响，非自回归模型在生成过程中容易出现单词重复、语义不连贯的现象，降低了非自回归模型的生成质量。为了解决该问题，本文提出了基于知识蒸馏的非自回归图像描述生成算法（KDNIC），利用自回归模型作为教师模型，为非自回归模型提供监督信息，使其更加容易学习到描述生成知识。

关键词：图像描述生成编码器-解码器框架非自回归语义检索知识蒸馏

来源：评论

学校读者我要写书评

暂无评论

基于生成对抗网络的图像描述生成算法的研究与应用

基于生成对抗网络的图像描述生成算法的研究与应用

引用

作者：李玉琳电子科技大学

学位级别：硕士

图像描述算法是一种结合计算机视觉和自然语言处理的技术,使计算机能够从图像生成一段描述性文字。图像描述生成算法在视觉辅助、视频分析、智能客服、机器人导航等领域都有着广泛的应用。该算法的难点在于不仅要理解图像中的物体、场... 详细信息

图像描述算法是一种结合计算机视觉和自然语言处理的技术,使计算机能够从图像生成一段描述性文字。图像描述生成算法在视觉辅助、视频分析、智能客服、机器人导航等领域都有着广泛的应用。该算法的难点在于不仅要理解图像中的物体、场景和关系,还要考虑到语法、词汇、句子结构和上下文等多个方面。为解决当前的图像描述算法存在的忽略语言多样性的问题,本文将基于生成对抗网络对图像描述算法展开研究,针对图像描述算法领域较为突出的问题分别从生成对抗网络的生成器端和判别器端进行改进,本文的主要研究内容和贡献如下:1.针对当前基于最大似然估计训练的图像描述算法存在忽略语言的多样性、暴露偏差等问题,本论文使用生成对抗网络构建图像描述算法,其中采用编解码框架构建生成器,判别器基于LSTM网络设计,交替训练生成器和判别器网络,逐渐提高网络生成多样准确描述的能力,同时本文融合了自适应注意力机制。为了解决由于训练和测试数据的分布不同而产生的暴露偏差问题,设计的模型采用强化学习方法进行训练。最后通过在BLEU、METEOR和CIDEr评估指标上的定量实验对比和定性实验分析,验证了改进的算法生成的描述更加多样且准确。2.针对基于注意力机制的图像描述算法存在图像和描述之间语义未能对齐的问题,本文基于第三章算法提出了一种新的方法。该方法借鉴视觉问答领域共同注意力机制的思想,设计了共同注意力判别器,用于对生成的描述进行优化和润色。同时,引入先知注意力机制,使生成器更好地关注与当前时间步相关的图像局部区域。采用多个评价指标的融合奖励函数来引导训练。最后,通过在BLEU、METEOR和CIDEr评估指标上进行定量和定性实验分析,验证了改进的算法能够生成更加细腻和准确的描述表达。3.最后,本文将改进的算法应用于一个基于Android端的图像描述生成系统,旨在为盲人群体提供更好的图像理解体验。该系统能够自行产生图像的文本表述,并且能够使用语音和可视式的接口与客户实现互动,同时还具备距离估计和图像描述的功能,经过多次测试,证明了其可靠性和实用性。

关键词：图像描述算法生成对抗网络编码器-解码器框架注意力机制

来源：评论

学校读者我要写书评

暂无评论

基于视觉注意力机制的图像描述生成

基于视觉注意力机制的图像描述生成

引用

作者：刘雨欣大连理工大学

学位级别：硕士

图像描述生成作为计算机视觉和自然语言处理的交叉领域任务，旨在对照图片的内容生成完整、准确的描述语句。随着深度学习技术的快速发展，主流图像描述方法的工作重心体现在应用视觉注意力机制提升图像视觉表示的质量上。然而，这些图... 详细信息

图像描述生成作为计算机视觉和自然语言处理的交叉领域任务，旨在对照图片的内容生成完整、准确的描述语句。随着深度学习技术的快速发展，主流图像描述方法的工作重心体现在应用视觉注意力机制提升图像视觉表示的质量上。然而，这些图像描述方法仍存在一定的缺陷：一方面现有的通道视觉注意力机制受到线性模型结构的限制，无法挖掘出高层的视觉信息;另一方面空间域的视觉注意力机制受到有限的注意力参数的限制，无法捕获图像中显著对象之间的空间位姿关系。　　针对无法挖掘深层信息的问题，本文引入基于哈达玛积的低秩双线性模型和SENet模型，从通道维度改进视觉注意力机制并提出通道双线性注意力机制（Channel-wiseBilinearAttention,CBA）。该算法利用双线性模型结构提取各个特征通道在视觉模态内部的高阶交互作用，改进池化策略，结合压缩—激励操作定位通道注意力，从而强调区域级视觉特征中的具有区分度的通道信息。　　为了融合区域级视觉特征并应对缺失空间位姿关系的缺陷，本文将胶囊网络的思想引入图像描述生成任务，从空间维度改进视觉注意力机制并提出注意胶囊网络（AttentiveCapsuleNetwork,ACN），借鉴胶囊网络的分层空间聚集操作捕获图像中各显著对象间的空间位姿关系。在从低层胶囊映射到高层胶囊的过程中，该算法使用4维的变换矩阵学习和更新空间位姿信息，基于耦合系数为全局图像到不同局部区域的空间注意力分配不同的权重系数。　　为了充分发挥视觉注意力机制在通道和空间维度上的互补作用，本文将以上两个算法合并到CBA-ACN图像描述方法，并分别在Flickr8K、Flickr30K和MS-COCO数据集上进行实验。对比主流的图像描述方法，CBA-CAN图像描述方法可以在Karpathy测试分割的MS-COCO数据集上表现出优秀的性能，尤其在CIDEr评价指标上取得了较好的成绩。通过对比分析描述实例，证明CBA-CAN图像描述方法捕获的空间位姿信息可以从强调空间语义概念的角度提高描述语句的质量，充分发挥了空间语义概念对组织句子结构的重要作用。

关键词：图像描述生成编码器-解码器框架注意力机制胶囊网络

来源：评论

学校读者我要写书评

暂无评论

基于图像语义表示引导的图像描述生成模型研究

基于图像语义表示引导的图像描述生成模型研究

引用

作者：朱君君合肥工业大学

学位级别：硕士

图像描述生成任务是为输入图像自动生成相应的自然语言描述文本,这是融合计算机视觉和自然语言处理的交叉任务,在辅助视觉障碍人士、儿童早期教育、图像内容检索等场景中有着非常广阔的应用前景。早期基于模板和基于检索的图像描述生成... 详细信息

图像描述生成任务是为输入图像自动生成相应的自然语言描述文本,这是融合计算机视觉和自然语言处理的交叉任务,在辅助视觉障碍人士、儿童早期教育、图像内容检索等场景中有着非常广阔的应用前景。早期基于模板和基于检索的图像描述生成方法都过度依赖视觉的编码,对解码端语言模型的优化不足。近些年随着深度神经网络的兴起,基于深度学习的图像描述生成方法得到了很好的发展。但是现有方法在图像高层语义信息的捕捉方面仍然存在问题,容易产生重复和简单的描述语句。针对上述不足,本文提出了两种图像描述生成任务的改进方法,以充分利用图像高层语义信息。本文的主要工作概括如下:(1)基于CNN的图像全局网格特征表示和基于Faster R-CNN的图像局部显著区域特征表示的方法,虽然能有效获取图像内容,但是这些表示与解码器所需的表示之间仍然存在较大的语义信息差距,导致描述文本不准确不自然,这也表明单纯依靠图像视觉信息已不能满足跨模态转换任务。针对这一难题,本文提出了基于子描述语义引导的图像描述生成模型,通过构建、拆分图像场景图,从场景图中获取以子描述形态表示的图像高层语义信息,再通过多模态融合机制将语义信息与视觉信息融合对齐来消除冗余信息,最后进行图像描述文本的生成。实验结果表明,融合子描述形态的高层语义信息有助于模型生成高质量的文本描述。(2)图像中经常存在着大量的字符文本等元素,这些字符文本对于场景理解和描述生成经常是至关重要的,然而现有图像描述生成方法很少关注和推理图像中的字符文本,仅是简单地将其作为普通图像特征提取,这导致对图像的理解出现偏差,以至生成的图像描述文本出错。针对此问题,本文提出了一种基于文本高层语义引导的图像描述生成模型,通过构建图像中字符文本的语义图来获得高层语义信息,再通过多模态融合模块将图像视觉信息、全局信息与高层语义信息嵌入共同的语义空间,最后将融合后的高质量特征经过动态指针网络引导解码成图像的细粒度描述。实验结果证实了该方法的有效性。

关键词：图像描述深度学习编码器-解码器框架注意力机制场景图高层语义

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：