检索结果-内蒙古大学图书馆

软件学报 2024年第10期35卷 4766-4780页

作者：李博张飞飞徐常胜天津理工大学计算机科学与工程学院天津300384 多模态人工智能系统全国重点实验室(中国科学院自动化研究所) 北京100190

基于文本描述的行人检索是一个新兴的跨模态检索子任务,由传统行人重识别任务衍生而来,对公共安全以及人员追踪具有重要意义.相比于单模态图像检索的行人重识别任务,基于文本描述的行人检索解决了实际应用中缺少查询图像的问题,其主要... 详细信息

基于文本描述的行人检索是一个新兴的跨模态检索子任务,由传统行人重识别任务衍生而来,对公共安全以及人员追踪具有重要意义.相比于单模态图像检索的行人重识别任务,基于文本描述的行人检索解决了实际应用中缺少查询图像的问题,其主要挑战在于该任务结合了视觉内容和文本描述两种不同模态的数据,要求模型同时具有图像理解能力和文本语义学习能力.为了缩小行人图像和文本描述的模态间语义鸿沟,传统的基于文本描述的行人检索方法多是对提取的图像和文本特征进行机械地分割,只关注于跨模态信息的语义对齐,忽略了图像和文本模态内部的潜在联系,导致模态间细粒度匹配的不准确.为了解决上述问题,提出模态间关系促进的行人检索方法,首先利用注意力机制分别构建模态内自注意力矩阵和跨模态注意力矩阵,并将注意力矩阵看作不同特征序列间的响应值分布.然后,分别使用两种不同的矩阵构建方法重构模态内自注意力矩阵和跨模态注意力矩阵.其中自注意力矩阵的重构利用模态内逐元素重构的方式可以很好地挖掘模态内部的潜在联系,而跨模态注意力矩阵的重构用模态间整体重构矩阵的方法,以跨模态信息为桥梁,可充分挖掘模态间的潜在信息,缩小语义鸿沟.最后,用基于任务的跨模态投影匹配损失和KL散度损失联合约束模型优化,达到模态间信息相互促进的效果.在基于文本描述的行人检索公开数据库CUHK-PEDES上进行了定量以及检索结果的可视化,均表明所提方法可取得目前最优的效果.

关键词：行人检索跨模态任务文本语义学习关系对齐注意力机制

来源：评论

学校读者我要写书评

暂无评论

面向潜在关系建模的跨模态行人检索

面向潜在关系建模的跨模态行人检索

引用

作者：李博天津理工大学

学位级别：硕士

近年来,跨模态行人检索为寻找犯罪嫌疑人和失踪人员提供了巨大帮助。相比于单模态图像检索的行人重识别,文本描述的获取相对容易,跨模态行人检索可以通过文本查询检索行人图像,适用于缺少查询图像的情况,更加灵活且贴合实际应用。但现... 详细信息

近年来,跨模态行人检索为寻找犯罪嫌疑人和失踪人员提供了巨大帮助。相比于单模态图像检索的行人重识别,文本描述的获取相对容易,跨模态行人检索可以通过文本查询检索行人图像,适用于缺少查询图像的情况,更加灵活且贴合实际应用。但现有方法主要存在以下三个问题:1)不同模态间数据差异较大,语义鸿沟难以跨越;2)现有方法对提取到的特征机械地分割且不加以任何限制,严重破坏了模态内部的潜在联系;3)仅仅关注模态间的单一实例匹配,而忽略了其细粒度关联。为了解决以上问题,本文提出面向潜在关系建模的跨模态行人检索。文章主要内容如下:(1)提出文本关系引导的跨模态行人检索方法,旨在缩小图像和文本的语义鸿沟和细粒度不匹配问题。该方法从数据集中的文本描述出发,通过图卷积方式构建具有指导意义的文本特征序列。根据具有指导意义的文本特征序列以及两种模态的实例级表示,模型可以学习由文本内部潜在信息指导的图像和文本的多尺度实例特征,充分挖掘图像和文本实例对之间的潜在联系,实现更加细粒度的检索,提高文本到图像匹配的推理能力。(2)提出模态间关系促进的行人检索方法,旨在充分挖掘模态间和模态内部特征序列的潜在联系,从而达到模态间关系相互促进的效果。所提方法将注意力矩阵看作不同特征序列间的响应值分布,首先利用注意力机制分别生成各自模态的自注意力矩阵和跨模态注意力矩阵,然后分别通过两种不同的矩阵构建方法充分挖掘模态内部和模态间的潜在信息。其中自注意力矩阵的重构可以充分挖掘模态内部的潜在联系,而跨模态注意力矩阵的重构以跨模态信息为桥梁,可充分挖掘模态间的潜在信息,缩小语义鸿沟。(3)设计基于文本描述行人检索原型系统。采用VUE框架与NODEJS和Python等技术通过前后端分离的方法实现了基于文本描述行人检索的系统界面,包括模型选择、输入文本查询和显示检索结果等功能。本文对跨模态行人检索任务进行了研究,针对上述的挑战,提出了文本关系引导的跨模态行人检索方法和模态间关系促进的行人检索方法。此外,相较现有方法,本文所提研究方法的检索性能均有提升。最后,基于这上述两个研究方法设计并实现了跨模态行人检索的原型系统。

关键词：跨模态任务行人检索潜在关系特征匹配

来源：评论

学校读者我要写书评

暂无评论

基于记忆网络与图注意力机制的视觉问答技术研究

基于记忆网络与图注意力机制的视觉问答技术研究

引用

作者：程文芳西安理工大学

学位级别：硕士

近年来,随着计算机视觉与自然语言处理技术的快速发展,跨模态任务受到了国内外众多学者的关注,视觉问答便是其中最具代表性的任务之一。视觉问答旨在正确回答给定图片提出的问题,因其丰富的应用领域而具有重要的研究价值。目前,视觉问... 详细信息

近年来,随着计算机视觉与自然语言处理技术的快速发展,跨模态任务受到了国内外众多学者的关注,视觉问答便是其中最具代表性的任务之一。视觉问答旨在正确回答给定图片提出的问题,因其丰富的应用领域而具有重要的研究价值。目前,视觉问答研究已取得了一定的成果,然而其准确率与人类问答平均水平相比还有很大差距。原因之一是现有视觉问答模型对于复杂问题的回答缺乏长期记忆模块,容易造成有效信息丢失;其次,注意力机制作为一种推理模块在视觉问答模型中被广泛应用,但其主要集中于空间注意力,忽视了通道注意力;另外,当前视觉问答方法主要集中于物体识别,将图片中的物体独立看待,无法有效对图像中的对象关系进行建模,导致模型的推理能力较弱。基于以上问题,为了进一步提高视觉问答模型的准确率,本文主要工作和创新点如下: (1)针对当前视觉问答注意力忽视了通道注意力的问题,本文提出了通道注意力与空间注意力相结合的多重注意力机制。该机制通过问题引导的通道注意力关注图像最后一个卷积特征图的通道,然后将基于对象区域的空间注意力应用在通道关注的视觉特征上,从而选择出与问题最相关的图像区域,使得空间注意力成为通道注意力的有力补充。 (2)针对视觉问答方法缺乏长期记忆模块的问题,本文提出了基于多重注意力机制的动态记忆网络模型(DMN-MA)。该模型在情景记忆模块中,通过基于问题引导的多重注意力机制捕获回答问题的有效上下文信息,并进行多次迭代和记忆更新,从而实现问题和图片的细粒度交互。实验结果表明,在大规模公开数据集COCO-QA和VQA2.0上,本文模型准确率分别达到了64.57%和67.18%。 (3)针对视觉问答模型忽视了图像中物体关系建模的问题,本文提出了基于图注意力网络的关系推理模型(GAT2R)。该模型通过将图像中的物体视为图节点,将物体之间的关系视为边,构建基于问题引导的动态场景图。同时,为了获得场景图中和问题密切相关的图结构,该模型使用图注意力网络更新图节点特征表示,从而有效地实现了自然语言和视觉图片在语义上的对齐。实验结果表明,本文模型在以关系推理为主的GQA数据集上准确率达到了54.45%,在广泛使用的VQA2.0数据集上准确率达到了68.04%,证明了提出模型的有效性与泛化性。

关键词：视觉问答注意力机制记忆网络关系推理跨模态任务

来源：评论

学校读者我要写书评

暂无评论

基于目标检测的短视频描述生成与优化方法研究

基于目标检测的短视频描述生成与优化方法研究

引用

作者：叶舟北京邮电大学

学位级别：硕士

随着互联网及5G通讯技术的发展,视频成为了人们生活中一种十分便捷的沟通和娱乐方式。在使用计算机分析这些视频数据时,往往会遇到跨越不同模态之间处理信息的情况,如视频描述任务就是其中最常见的一种。短视频服务作为视频领域中一个... 详细信息

随着互联网及5G通讯技术的发展,视频成为了人们生活中一种十分便捷的沟通和娱乐方式。在使用计算机分析这些视频数据时,往往会遇到跨越不同模态之间处理信息的情况,如视频描述任务就是其中最常见的一种。短视频服务作为视频领域中一个独立的门类近些年迎来了井喷式发展,对短视频进行描述生成为短视频数据的分析与处理提供了极大的便利,可以通过描述语句中的关键词迅速对短视频进行分类、检索、个性化推荐及异常内容的检测,因此短视频描述生成也成为了当下学术界的一大研究热点。然而受限于目前的研究方案对短视频描述数据集的使用方法与该短视频描述效果的评估方法,目前使用深度学习进行短视频描述生成的方法对短视频内容与文本语义之间的匹配还欠缺一定的有效解决方案。本文从短视频中的目标出发,针对性地提出了基于目标检测的短视频描述生成与优化方法,提出使用目标检测技术对短视频中的主要目标进行检测作为文本模态的输入,与视频自身特征共同送入短视频描述生成网络中,提升了短视频描述方法的效果,同时提出一种语义感知损失计算方法,可以结合目标检测的结果对语义优化目标进行筛选,帮助短视频描述生成网络输出更好的描述语句。具体研究成果如下:(1)短视频目标检测实现。基于帧间差分方法进行视频关键帧序列构建,再使用静态图片目标检测算法结合统计方法,实现短视频中的主要目标检测。(2)提出了使用视频内容目标文本模态信息提升短视频描述效果的方法。构建跨模态输入的短视频描述生成网络,将是否引入视频内容目标文本模态信息作为变量进行对比试验验证效果。通过在MSR-VTT数据集上的实验结果表明,引入目标文本模态信息比不引入目标文本模态信息在BLEU 4和METEOR指标上提升了 0.4,ROUGE-L指标提升了 0.1,SPICE指标上提升了 0.2,模型可以取得更优的输出效果。(3)提出了一种语义感知损失函数,并使用其进行短视频描述生成模型的优化。本文受到图像生成类任务的启发,创新性地使用文本信息的深度特征进行损失计算,将其用于短视频描述生成的任务上,同时通过筛选语义信息更丰富的数据作为优化目标,使得模型性能得到提升。本文方法在MSR-VTT数据集上的BLEU 4、METEOR、ROUGE-L、CIDEr 和 SPICE 指标为 44.1、30.4、64.8、52.0 和 12.1,在保持语法层面效果的情况下提升了语义丰富度。

关键词：短视频描述生成感知损失目标检测跨模态任务

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：