检索结果-内蒙古大学图书馆

作者：陈沛锨广州大学

学位级别：硕士

随着移动互联网的普及和多媒体技术的发展,互联网上的视频数量呈现指数级增长。在这一背景下,基于自然语言特征的视频时刻定位任务凭借其独特优势而受到广泛关注。尽管该领域取得了显著的进展,但仍面临着诸多挑战。本论文针对现有视频... 详细信息

随着移动互联网的普及和多媒体技术的发展,互联网上的视频数量呈现指数级增长。在这一背景下,基于自然语言特征的视频时刻定位任务凭借其独特优势而受到广泛关注。尽管该领域取得了显著的进展,但仍面临着诸多挑战。本论文针对现有视频时刻定位方法在有监督和弱监督场景下定位效率不高的问题进行了深入的研究,并提出了两种新的视频时刻定位方法。本文提出了一种基于提示模板的视频时刻定位方法,用来解决现有视频时刻定位方法存在的定位效率低和训练不稳定问题。通过设计几种包含查询文本、开始时刻以及结束时刻的提示模板,该方法将基于自然语言特征的视频时刻定位任务转化为一个多模态问题,并通过微调预训练的视频-文本模型进行学习。此外,该方法还设计了一种提示模板集成策略,通过集成不同提示模板的信息,实现更加准确的视频时刻定位,从而提升模型的性能。与现有方法相比,该方法有效避免了冗余候选片段的生成,并降低了模型在训练过程中的不稳定性。本文在公开的Charades-STA和ActivityNet Captions数据集上进行了充分的实验,验证了该方法的有效性。本文提出了一种基于伪文本特征的视频时刻定位方法,用来解决现有视频时刻定位方法在生成伪文本特征时效率低下的问题。通过深入分析现有方法所采用的两阶段伪文本特征生成方式的局限性,本研究提出了一种更加简化的伪文本特征生成方式。本研究利用视频帧的视觉相似性特点,提出了原子候选片段和组合候选片段两种生成策略,并通过k-means聚类算法和CLIP4Caption模型直接生成伪文本特征。该方法大大简化了伪文本特征的生成过程,有效提高了视频时刻定位的效率。在Charades-STA和ActivityNet Captions数据集上的实验结果,进一步证实了该方法的有效性。

关键词：视频时刻定位自然语言特征深度学习多模态交互

来源：评论

学校读者我要写书评

暂无评论

基于语义匹配的视频时刻检索

基于语义匹配的视频时刻检索

引用

作者：王胜兰电子科技大学

学位级别：硕士

在5G时代的背景下,视频数据呈现出爆炸式的增长,为人们提供了丰富多彩的视觉信息和娱乐体验。然而,如何高效地利用和检索视频,成为一个亟需解决的难题。视频时刻检索任务就是针对这一问题提出的一种解决方案。它的目标是根据用户输入的... 详细信息

在5G时代的背景下,视频数据呈现出爆炸式的增长,为人们提供了丰富多彩的视觉信息和娱乐体验。然而,如何高效地利用和检索视频,成为一个亟需解决的难题。视频时刻检索任务就是针对这一问题提出的一种解决方案。它的目标是根据用户输入的自然语言查询描述,在一段未剪辑的视频中定位出与该查询描述语义最匹配的一个视频片段,并返回其开始时间点和结束时间点。同时,这个任务可以促进其他相关领域的发展,例如视频摘要、视频问答和视频理解。尽管视频时刻检索任务具有很高的应用价值和研究意义,但是想要得到良好的检索效果仍然面临着许多挑战。其中最主要的挑战是如何有效地处理和融合不同模态(即文本和视频)之间的信息,并实现精确地语义对齐。现有的方法大多数都是独立地处理每个模态并进行粗略地特征提取,导致信息丢失;或者只能部分探索模态间的相互作用或相关性,并没有充分利用跨模态融合机制来增强特征表示能力。基于上述问题,本文提出了两种不同的改进算法来提升视频时刻检索任务的检索准确率。首先,针对现有方法粗略提取模态特征的问题,本文提出了基于细粒度跨模态融合的视频时刻检索方法。该方法依据视频具有时序性的特点,在视频特征提取阶段采用增强自注意力残差机制对视频帧特征进行细粒度语义分析,计算出视频帧与帧之间的相关性,以此获得更为丰富和准确的视频特征语义上下文信息。在文本特征提取阶段,该方法采取循环卷积神经网络对查询文本进行特征编码,获得每个单词前后的上下文语义信息,从而防止在进行编码过程中,出现信息丢失的问题。其次,针对上述方法中存在独立处理视频和文本模态以及缺乏有效的多模态特征融合机制的问题,本文提出了基于文本引导注意力机制的视频时刻检索方法。该方法以查询文本为条件进行视频特征提取,具体实现是通过缩放点积注意力机制来学习捕获与给定文本描述语义最接近的视频帧特征。同时,该方法采取多模态双线性融合机制进行有效的特征融合以探索不同模态间的语义相关性。最后,本文所提出的两个方法在两个公开的数据集(TACo S和Activity NetCaptions)上进行了详尽的实验,并与近几年最先进的方法进行了实验对比。实验结果表明,本文所提的两个方法都优于现有方法,在视频时刻检索任务展示了其有效性。

关键词：视频时刻检索多模态视频时刻定位视频理解

来源：评论

学校读者我要写书评

暂无评论

面向跨模态检索的查询感知双重对比学习网络

引用

软件学报 2024年第5期35卷 2120-2132页

作者：尹梦冉梁美玉于洋曹晓雯杜军平薛哲北京邮电大学计算机学院(国家示范性软件学院) 北京100876 智能通信软件与多媒体北京市重点实验室(北京邮电大学) 北京100876

近期,跨模态视频语料库时刻检索(VCMR)这一新任务被提出,它的目标是从未分段的视频语料库中检索出与查询语句相对应的一小段视频片段.现有的跨模态视频文本检索工作的关键点在于不同模态特征的对齐和融合,然而,简单地执行跨模态对齐和... 详细信息

近期,跨模态视频语料库时刻检索(VCMR)这一新任务被提出,它的目标是从未分段的视频语料库中检索出与查询语句相对应的一小段视频片段.现有的跨模态视频文本检索工作的关键点在于不同模态特征的对齐和融合,然而,简单地执行跨模态对齐和融合不能确保来自相同模态且语义相似的数据在联合特征空间下保持接近,也未考虑查询语句的语义.为了解决上述问题,提出一种面向多模态视频片段检索的查询感知跨模态双重对比学习网络(QACLN),该网络通过结合模态间和模态内的双重对比学习来获取不同模态数据的统一语义表示.具体地,提出一种查询感知的跨模态语义融合策略,根据感知到的查询语义自适应地融合视频的视觉模态特征和字幕模态特征等多模态特征,获得视频的查询感知多模态联合表示.此外,提出一种面向视频和查询语句的模态间及模态内双重对比学习机制,以增强不同模态的语义对齐和融合,从而提高不同模态数据表示的可分辨性和语义一致性.最后,采用一维卷积边界回归和跨模态语义相似度计算来完成时刻定位和视频检索.大量实验验证表明,所提出的QACLN优于基准方法.

关键词：跨模态语义融合跨模态检索视频时刻定位对比学习

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：