检索结果-内蒙古大学图书馆

电脑知识与技术 2022年第9期18卷 67-69页

作者：谢亦才易云赣南师范学大学数学与计算机科学学院江西赣州341000

多模态表征学习旨在缩小不同模态数据之间的异质性差距。近年来,基于深度学习的多模态表征学习因其强大的多层次抽象表征能力而备受关注。文章提供了关于深度多模态表征学习的全面调查。文章将深度多模态表示学习方法分为三个框架:联合... 详细信息

多模态表征学习旨在缩小不同模态数据之间的异质性差距。近年来,基于深度学习的多模态表征学习因其强大的多层次抽象表征能力而备受关注。文章提供了关于深度多模态表征学习的全面调查。文章将深度多模态表示学习方法分为三个框架:联合表示、协调表示和编解码器。此外,还回顾了该领域的一些典型模型,从传统模型到新开发的技术。重点介绍了新开发技术的关键问题,如编码器-解码器模型、生成性对抗网络等。最后,对今后的工作提出了一些重要的方向。

关键词：多模态表征学习多模态深度学习深度多模态融合

来源：评论

学校读者我要写书评

暂无评论

基于多模态数据的表征学习研究

基于多模态数据的表征学习研究

引用

作者：董彬国防科技大学

学位级别：博士

随着人类文明的发展和科技的进步,人们了解这个世界的手段越来越多,获取的数据也更加复杂多样,信息的获取、处理等也从单一的形式逐渐变成图片、文本、视频等多模态的数据。传统机器学习一般针对某一类型数据进行建模学习,而当前面对种... 详细信息

随着人类文明的发展和科技的进步,人们了解这个世界的手段越来越多,获取的数据也更加复杂多样,信息的获取、处理等也从单一的形式逐渐变成图片、文本、视频等多模态的数据。传统机器学习一般针对某一类型数据进行建模学习,而当前面对种类繁多的多模态数据,多模态机器学习也应运而生。无论是传统机器学习还是多模态机器学习都离不开对数据的处理,如何有效获得数据中的信息始终是一个重要的研究领域。传统机器学习中的数据表征学习一般是从单一模态数据中提取数据特征进行表示,多模态数据表征学习则是对多种不同模态下的数据进行融合,形成多模态数据表征。当前对多模态数据的表征学习研究仍然存在诸多问题。比如,不同模态数据的异构信息中,可能存在一些互补信息,而目前对这些互补信息的获取仍然处于起步阶段;现实生活中的数据往往会有缺失,比如对齐信息的缺失,而目前的多模态表征学习对于这种未标注对齐的数据无法利用;多模态数据表征基于有效的单一模态数据表征,而对结构化离散的属性数据的表征仍然不能充分获取数据的内在信息等。针对目前存在的一系列问题,本文围绕多模态数据的表征学习进行研究。本文主要贡献如下:(1)提出了基于模态内部结构传递的多模态数据表征学习框架(MTLS)。本文将单一模态内的数据结构作为互补信息,通过数据结构相互传递的方式来利用这种互补信息从而提升多模态数据表征的质量。同时,本文设计了松弛的度量学习策略来进行各模态之间数据结构的传递,同时通过无限边界的铰链损失函数加强了单一模态内的聚类结构。进一步地本文利用三元组的双向索引排序损失函数来对不同模态内的数据对象进行对齐,设计了交替的优化策略,来分别对不同模态下的数据对象以及数据结构进行对齐。最后我们将该框架应用到图片和文本模态,通过跨模态检索任务以及图片的聚类任务验证了表征的有效性。(2)提出了有限对齐数据下的图像-文本多模态表征学习模型(AMRL)。本文利用对齐数据的数据模态对齐以及非对齐数据的分布对齐,来提升多模态数据表征的质量。基于多模态数据表征,设计了自增强的模态内数据对齐策略提升单模态下的表征质量。另外,通过交替的数据分布对齐和模态对齐训练,使得得到的多模态数据表征在跨模态检索上有较好的表现。最后,本文构造了少配对样本数据集以及未见配对样本数据集,测试有限对齐数据下的多模态数据表征在跨模态检索任务的效果,同时测试自增强的模态内数据表征在图片模态下自检索任务的效果。(3)提出了基于层次化耦合关系的离散属性数据表征学习模型(CDE++)。本文分析了离散属性数据的层次化耦合关系(关联关系),从不同的层次来捕获这些耦合关系。我们通过基于出现频率和共现概率来捕捉底层的特征值之间的耦合关系,然后设计了一种混合聚类策略,以在较低层次捕获更复杂和异构的特征值聚类。通过不同的聚类粒度来实现从不同的角度和语义上对特征值进行聚类。然后利用自动编码器来学习高层的特征值类之间的耦合关系,并产生低维的特征值表征向量,进而得到数据对象的表征。我们通过有监督以及无监督的学习任务验证了该模型的通用性及有效性。

关键词：多模态表征学习数据结构传递模态数据对齐分布对齐层次化耦合关系

来源：评论

学校读者我要写书评

暂无评论

多模态视觉语言表征学习研究综述

引用

软件学报 2021年第2期32卷 327-348页

作者：杜鹏飞李小勇高雅丽可信分布式计算与服务教育部重点实验室(北京邮电大学) 北京100876 北京邮电大学网络空间安全学院北京100876

我们生活在一个由大量不同模态内容构建而成的多媒体世界中,不同模态信息之间具有高度的相关性和互补性,多模态表征学习的主要目的就是挖掘出不同模态之间的共性和特性,产生出可以表示多模态信息的隐含向量.主要介绍了目前应用较广的视... 详细信息

我们生活在一个由大量不同模态内容构建而成的多媒体世界中,不同模态信息之间具有高度的相关性和互补性,多模态表征学习的主要目的就是挖掘出不同模态之间的共性和特性,产生出可以表示多模态信息的隐含向量.主要介绍了目前应用较广的视觉语言表征的相应研究工作,包括传统的基于相似性模型的研究方法和目前主流的基于语言模型的预训练的方法.目前比较好的思路和解决方案是将视觉特征语义化,然后与文本特征通过一个强大的特征抽取器产生出表征,其中,Transformer作为主要的特征抽取器被应用表征学习的各类任务中.分别从研究背景、不同研究方法的划分、测评方法、未来发展趋势等几个不同角度进行阐述.

关键词：多模态表征学习表征学习多模态机器学习深度学习

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的多模态细粒度检索

基于深度学习的多模态细粒度检索

引用

作者：李佩重庆邮电大学

学位级别：硕士

跨模态检索旨在跨越不同的内容模态搜索具有相似语义的数据。多模态细粒度检索则在上述基础上强调模态数量大于二及待检索样本分类的标准是细粒度子类。首先,针对多模态数据间的异构鸿沟、语义鸿沟及细粒度样本特征差异小等难题,本文引... 详细信息

跨模态检索旨在跨越不同的内容模态搜索具有相似语义的数据。多模态细粒度检索则在上述基础上强调模态数量大于二及待检索样本分类的标准是细粒度子类。首先,针对多模态数据间的异构鸿沟、语义鸿沟及细粒度样本特征差异小等难题,本文引入了模态特异特征及模态共享特征的概念,并据此提出MS2Net框架。该网络使用分支网络及主干网络分别提取不同模态数据的模态特异特征及模态共享特征,再将这两种特征通过Discriminate Loss及MMFM模块进行充分融合,同时利用了各个模态自身的特有信息及不同模态数据间的共性及联系,极大的增加了高维空间向量中包含的细粒度语义信息。其次,针对多模态细粒度检索场景本文在Center Loss的基础上提出Multi-center Loss,该损失函数通过类别中心来聚集同类别且同模态的样本,再通过聚集类别中心来间接聚集同类别但不同模态的样本,同时消减了样本间的异构鸿沟及语义鸿沟,明显增强了模型对高维空间向量的聚类能力。本文提出的Ms2Net在公开数据集上进行了一对一及一对多模态检索实验,mAP指标相较于之前的方法有了明显提升。最后,针对多模态细粒度检索缺乏公开数据集的难题,本文引入半监督学习思想,提出了一种基于半监督学习的多模态鉴别器网络。该网络可以通过将在公开数据集上的预训练来对无标签的数据集进行跨模态细粒度检索,基于半监督学习的多模态鉴别器网络在多模式细粒度检索实验中的mAP指标达到了基于监督学习的MS2Net的42%。

关键词：信息检索多模态检索细粒度检索多模态表征学习半监督学习

来源：评论

学校读者我要写书评

暂无评论

基于模态特异及模态共享特征信息的多模态细粒度检索

引用

计算机工程 2022年第11期48卷 62-68,76页

作者：李佩陈乔松陈鹏昌邓欣王进朴昌浩重庆邮电大学计算机科学与技术学院重庆400065 数据工程与认知计算重庆市重点实验室重庆400065

跨模态检索的目标是用户给定任意一个样本作为查询样例,系统检索得到与查询样例相关的各个模态样本,多模态细粒度检索在跨模态检索基础上强调模态的数量至少大于两个,且待检索样本的分类标准为细粒度子类,存在多模态数据间的异构鸿沟及... 详细信息

跨模态检索的目标是用户给定任意一个样本作为查询样例,系统检索得到与查询样例相关的各个模态样本,多模态细粒度检索在跨模态检索基础上强调模态的数量至少大于两个,且待检索样本的分类标准为细粒度子类,存在多模态数据间的异构鸿沟及细粒度样本特征差异小等难题。引入模态特异特征及模态共享特征的概念,提出一种多模态细粒度检索框架MS2Net。使用分支网络及主干网络分别提取不同模态数据的模态特异特征及模态共享特征,将两种特征通过多模态特征融合模块进行充分融合,同时利用各个模态自身的特有信息及不同模态数据间的共性及联系,增加高维空间向量中包含的语义信息。针对多模态细粒度检索场景,在center loss函数的基础上提出multi-center loss函数,并引入类内中心来聚集同类别且同模态的样本,根据聚集类内中心来间接聚集同类别但模态不同的样本,同时消减样本间的异构鸿沟及语义鸿沟,增强模型对高维空间向量的聚类能力。在公开数据集FG-Xmedia上进行一对一与一对多的模态检索实验,结果表明,与FGCrossNet方法相比,MS2Net方法 mAP指标分别提升65%和48%。

关键词：信息检索多模态检索细粒度检索多模态表征学习深度学习

来源：评论

学校读者我要写书评

暂无评论

基于多模态的序列推荐算法研究

基于多模态的序列推荐算法研究

引用

作者：吕小鹏西安电子科技大学

学位级别：硕士

序列推荐指的是针对用户历史的交互行为序列,预测用户未来可能感兴趣的物品或内容的推荐算法。它被广泛的应用于众多个性化推荐系统场景中,例如电子商务、社交媒体和在线新闻等领域。随着信息技术和互联网技术的迅速发展,各大内容平台... 详细信息

序列推荐指的是针对用户历史的交互行为序列,预测用户未来可能感兴趣的物品或内容的推荐算法。它被广泛的应用于众多个性化推荐系统场景中,例如电子商务、社交媒体和在线新闻等领域。随着信息技术和互联网技术的迅速发展,各大内容平台积累了海量的多模态数据,比如:用户对商品的评论、在社交平台上传的图片等,然而传统的序列推荐算法忽略了多模态信息中蕴藏的复合偏好信息,并且未利用多模态信息为推荐结果给出合理的推荐理由。基于以上问题,本文围绕序列推荐的Top-K推荐预测任务,提出了一个基于多模态的序列推荐模型,在此模型基础上提出了一个具有可解释性的推荐算法,并设计了一个基于该可解释性推荐算法的电影推荐系统。本文的主要贡献如下: (1)针对如何获得多模态数据有效的表征、如何结合不同模态的异质性以及如何建模复合偏好对用户主偏好的影响等问题,本文提出了基于专家网络的双偏好进化链模型DPECE(Dual Preference Evolutionary Chain Based on Expert Network,DPECE),该模型分别由基于专家网络的多模态表征学习模块、模态表征融合模块以及双偏好进化链网络组成,旨在通过融合用户历史交互序列中物品的多模态数据,来提高序列推荐系统的效果和准确度。a.为了获得单模态数据的有效表征,本文提出了基于Object的图片表征方法,用图片中物品的区域来表征图片,而不是图片的所有区域。本文在消融实验部分证明了这一方法的有效性。b.针对模态对齐、模态异质性的问题,本文提出了基于专家网络的多模态表征学习模块来学习模态间的共性信息、个性信息,并设计了一致性损失函数、差异性损失函数来约束视觉、文本模态不变表征和特定表征的学习。为了研究不同多模态融合方法对下游任务的影响,本文还分别设计了三种多模态融合方法用于下游的序列推荐任务。c.考虑到序列推荐场景中多模态信息对用户决策的影响,本文设计了基于双偏好链的兴趣进化网络,用于建模从多模态数据中提取到的复合偏好对用户主要偏好的影响。最后,本文通过消融实验,证明了各模块设计的合理性;通过对比实验,证明了DPECE在Top-K的序列推荐任务上的有效性。 (2)针对DPECE的推荐结果不具有可解释性这一问题,提出了具有可解释性的基于专家网络的双偏好进化链模型E-DPECE(Explainded DPECE)。针对基于Object的图片表征学习方法捕捉的用户视觉偏好粒度相对粗糙的问题,提出了基于SENet的图片表征学习方法,来捕捉更细粒度的用户的视觉偏好。除此之外,E-DPECE分别从多模态推荐可解释性以及序列推荐可解释性两个角度出发,提出了基于可解释性的图文表征学习方法以及基于长期-短期兴趣注意力网络,来为推荐结果给出综合的推荐理由。在基于可解释性的图文表征学习方法模块中,为了从文本以及图片模态对推荐结果给出解释,本文设计了基于文本对齐的图片表征学习方法,以给出图片区域与文本相关性,并通过文本与图片区域的对齐程度,对推荐结果做出了解释。在基于长期-短期兴趣注意力机制模块中,本文分别从用户历史交互序列中建模了用户的长期兴趣以及短期兴趣,并对推荐结果给出具有序列相关性的推荐解释。实验结果表明,E-DPECE的性能相比DPECE更优。 (3)为了验证E-DPECE算法的可行性,本文设计了一个电影推荐系统用于算法的落地部署。该系统采用了前后端分离的架构进行开发,本文分别使用了Vue前端开发框架、Spring Boot相关微服架构进行前端网页设计以及后端功能服务实现。关于系统数据库的选择,本文综合考虑了可靠性、安全性以及响应速度等方面,并最终选择了关系数据库My SQL以及非关系型数据Redis来实现数据的管理与存储服务。该电影推荐系统一方面可以为用户推荐可能感兴趣的电影,并列出相应的推荐理由;另一方面可以为系统开发人员提供快捷的、可视化的模型训练服务。

关键词：序列推荐多模态表征学习多模态融合推荐系统可解释性

来源：评论

学校读者我要写书评

暂无评论

基于异质图神经网络的图文摘要方法研究

基于异质图神经网络的图文摘要方法研究

引用

作者：谢枫南京邮电大学

学位级别：硕士

具有多模态输出的多模态摘要(Multimodal Summarization with Multimodal Output,MSMO)旨在从视觉和文本模态中提炼重要信息之后输出多模态摘要,以提高摘要的可读性。多模态数据中复杂的模态间关系与各模态之间的异质性增加了多模态摘... 详细信息

具有多模态输出的多模态摘要(Multimodal Summarization with Multimodal Output,MSMO)旨在从视觉和文本模态中提炼重要信息之后输出多模态摘要,以提高摘要的可读性。多模态数据中复杂的模态间关系与各模态之间的异质性增加了多模态摘要任务的复杂性。然而,大多数现存的基于编码器-解码器(Encoder-Decoder)框架的MSMO模型未能充分利用多模态数据中的先验关系,这将导致多模态语义交互过程中存在噪声信息。因此,为了捕获不同粒度的多模态关系,本文提出两种基于异质图神经网络的图文摘要模型:(1)基于关系增强异质图注意力网络的图文摘要模型。利用图像标题与文档句子之间的词共现(Word Co-occurrence)关系,将多模态新闻文档转化成一个统一的多模态异质图,其中包含单词、句子和图像三种类型的节点,以及两种类型的关系边。接着,在多模态节点聚合过程中引入关系注意力机制来融合关系边的语义信息,并同时更新关系特征的隐藏表征以便学习模态间关系的语义表示。最后,将学习到的节点表征训练图像-句子选择器和文本解码器。(2)基于模态感知异质图注意力网络的图文摘要模型。为了捕获细粒度的多模态语义关系,本文利用图像中的目标对象与短语的对应关系、句子与图像的语义匹配关系和单词与句子的包含关系建立包含目标对象、单词、句子和图像四种节点的细粒度多模态异质图。其次,通过引入模态感知异质图注意力机制来聚合基于元路径的邻居以学习高阶多模态语义信息。最后,将学习到的节点表征训练图像-句子选择器和文本解码器。实验结果在两个数据集E-DailyMail和NYTime800k上表明,本文提出的模型不仅在ROUGE得分方面优于现存的文本摘要和MSMO基准模型,而且在关键图像选择方面也取得了令人瞩目的性能。

关键词：图文摘要多模态摘要异质图神经网络多模态表征学习

来源：评论

学校读者我要写书评

暂无评论

基于模态语义重构的无监督跨模态哈希检索研究与应用

基于模态语义重构的无监督跨模态哈希检索研究与应用

引用

作者：李业文重庆师范大学

学位级别：硕士

随着社交媒体的蓬勃发展，多模态数据以评论、图片、语音、短视频等不同的存储形式呈爆炸式地增长，传统的信息搜索方式已不能满足用户日益多元化的检索需求。深度跨模态哈希检索方法通过深度神经网络的强大的非线性投影能力，将多源异... 详细信息

随着社交媒体的蓬勃发展，多模态数据以评论、图片、语音、短视频等不同的存储形式呈爆炸式地增长，传统的信息搜索方式已不能满足用户日益多元化的检索需求。深度跨模态哈希检索方法通过深度神经网络的强大的非线性投影能力，将多源异构的跨模态数据映射为紧凑的哈希二值表征，从而利用哈希表征作为索引在汉明空间中实现高效能的数据检索。无监督跨模态哈希检索模型由于对标签的不依赖性而更适用于实际应用场景。然而，现有的无监督跨模态哈希模型还存在一些待解决的问题：（1）现有无监督方法忽略了特征分布的一致性，在特征值到哈希码的二值映射过程中，原始数据的语义结构被破坏，存在较大的语义损失。（2）现有方法对于异构模态的交互不足，多模态数据的模态异质性和语义差异性难以有效缓解。另外，现有研究通常只考虑数据成对的相似关系，而忽略了数据隐式的图邻域结构关系，导致检索精度仍然有限。针对上述问题，本文提出了两个无监督跨模态哈希检索模型，本文的研究内容总结如下：　　（1）本文提出了一个基于模态融合重构哈希的无监督跨模态检索模型（Modality Fusion Reconstructing Hashing, MFRH）。首先，本文使用多模态联合表征模型CLIP（Contrastive Language-Image Pre-Training）对跨模态数据进行分布一致的特征编码，并精心设计基于编码-解码器结构的深度自编码器来学习低维哈希编码。其次，本研究联合自编码器的模态内特征重构过程，构造了一个适配的哈希编码重构目标代价函数，以高效地进行模型优化和收敛。此外，本研究采用一种高效的相似性融合策略来建立一个异构语义互补的亲和矩阵，以尽可能地联合不同模态训练样本的互补语义，为哈希编码的学习提供准确的指导目标。在三个检索基线数据集（MIRFLICKR-25K, NUS-WIDE和MS-COCO）进行的充分实验表明，在多个评价指标上，所提出的模型取得了具有竞争力的检索性能。　　（2）本文设计了一个基于图注意力重构哈希的无监督跨模态检索模型（Graph Attention Reconstructing Hashing, GARH）。首先，所提出的模型使用对比视觉语言表征学习模型CLIP提取跨模态语义特征，并通过基于语义图的重构模块来使哈希编码保持多模态数据的特征语义相似性。此外，本文提出了一个基于图神经网络的交互模块来进行异构模态交互，利用增强语义图的桥接以联合不同模态的信息传递过程。最后，图注意力模块采用注意机制来学习跨模态的图邻域相关性，其利用图卷积网络的邻接节点聚合机制来聚合相似样本的邻域结构特征，致使越相似的训练样本映射为汉明距离越近的哈希编码。在基线数据集的对比，消融和收敛性实验分析，所提出的模型较代表性检索方法展现出优越性，实现最先进的检索性能。　　（3）本文设计了一个无监督跨模态哈希检索系统。该系统基于本文提出的检索模型设计，实现对于图像输入检索相近的文本、输入文本描述检索对应的图像等功能。该模型具有检索速度快、存储代价低的优点，能够快速做出响应并展示检索结果，满足了用户对于跨模态检索的实际需求。

关键词：跨模态检索深度哈希无监督学习多模态表征学习图神经网络

来源：评论

学校读者我要写书评

暂无评论

基于多模态预训练模型的编程题难度预测与知识追踪

基于多模态预训练模型的编程题难度预测与知识追踪

引用

作者：王志远华东师范大学

学位级别：硕士

随着各行各业对编程技能需求的不断增长,学生们经常借助于在线编程平台进行编程练习和比赛。然而目前针对编程题的智能化教育研究相对较少,本文聚焦于编程题的难度预测和知识追踪任务,使用数据驱动的方式对其进行了一定的探索。(i)对于... 详细信息

随着各行各业对编程技能需求的不断增长,学生们经常借助于在线编程平台进行编程练习和比赛。然而目前针对编程题的智能化教育研究相对较少,本文聚焦于编程题的难度预测和知识追踪任务,使用数据驱动的方式对其进行了一定的探索。(i)对于编程题的难度预测任务,现有的方法没有考虑到其多模态信息,尤其是没有对题解范例建模。(ii)对于编程题的知识追踪任务,现有的方法没有考虑到题目的多因子难度信息与习题的多知识点解答性。因此,本文对以上两个子任务中的问题分别进行了研究,并提出了各自的解决方案。本文的主要工作和贡献可以归纳为如下两个方面:对于第一项工作,本文制定了一个新的任务,目的在于以数据驱动的方式解决编程题难度预测任务。具体来说,本文将此任务视为一个创新的多模态理解问题,通过同时建模习题文本信息与代码题解范例来解决编程题难度预测任务。通过解决这一任务,不依赖于学生解决方案的积累,就有可能获得对问题难度的更客观的评估。在具体的做法上,本文提出的模型C-BERT受到了最近流行的大规模预训练模型的启发,将问题文本和习题题解范例分别用BERT和Code BERT建模。为了进一步提高模型的性能,本文使用跨模态CLS表征的方式将BERT与Code BERT进行跨模态融合,从而进一步捕获两种模式的交互。另外本文还使用代码类型信息对Code BERT微调,提高了Code BERT的性能。本文在两个基于真实POJ网站的开源数据集上进行实验验证,结果表明,C-BERT模型相较于其他编程题难度预测方法更具优势。第二项工作受到第一项工作的启发,认为以往的研究中忽略了编程题知识追踪中多因子的难度信息与多模态的异构数据。除此之外,本文还注意到编程题的知识追踪,可以通过多种方式,多种知识点解决问题,这会导致学生学习的知识点不同。为了解决这些问题,本文提出了一种知识追踪方法DPKT,基于编程题的多模态数据构造了多因子的难度信息以辅助知识追踪过程。具体来说,本文从学生主观的难度判断,基于难度的知识水平提升,基于题解的知识获得过滤,知识状态的更新四个部分,引入不尽相同的多因子难度信息。其中基于题解代码的知识获得过滤模块主要目的是为了针对性的更新学生解答所用到的知识。最后本文在两个公开数据集上进行了多种实验,结果表明了所提出的DPKT方法相比较于其他基线模型有着显著的性能提升。

关键词：编程题多模态表征学习难度预测知识追踪预训练模型

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的微光图像质量盲评估研究

基于深度学习的微光图像质量盲评估研究

引用

作者：许倬维深圳大学

学位级别：硕士

在过去几十年里,图像质量评估一直是业界研究热点,覆盖了消费电子、交通安全、智能监控等工业产品以及视觉增强、感知压缩、美学评估等机器视觉领域。尽管现有图像质量评估方案在正常光照场景下已经取得良好性能,微光图像由于拍摄场景... 详细信息

在过去几十年里,图像质量评估一直是业界研究热点,覆盖了消费电子、交通安全、智能监控等工业产品以及视觉增强、感知压缩、美学评估等机器视觉领域。尽管现有图像质量评估方案在正常光照场景下已经取得良好性能,微光图像由于拍摄场景光照条件不理想所表现出的低曝光度、受损颜色、低可见度等独特失真特性以及理想光照参考图片的不可访问性,使得现有方案难以达到令人满意的预测精度。基于上述特点,为真实微光失真开发一个高效可靠的无参考图像质量指标以指导和优化微光视觉处理系统至关重要。近年来,深度学习技术已经被应用于图像质量评估任务中。相较于基于手工特征的方法,基于深度学习特征的方法以端到端优化的方式直接从失真图像中学习特征,并已经表现出了更大表征潜力。然而,现有方法依赖于使用图像质量主观分数作为标签构建训练监督,易受训练样本偏差性影响,难以有效捕捉图像质量潜在共性,导致预测精准度不高。为解决这一问题,本文展开了以下两方面工作: (1)针对现有方法难以有效反映视觉区域对图像质量感知的影响,本文提出基于过完备表征的微光图像质量评估方法。首先,针对传统局部退化描述符求解模式单一问题,提出了基于显著性、注意力与可见性的系统性微光特性建模规则。随后,针对特征与监督尺度不一致性导致区域级特征不精确问题,提出了深度差异化表征建模,通过学习区分不同区域的视觉质量差异,构建关于区域的高度完备特征。该方法避免对主观分数标签需求的同时,实现对图像各区域的区分性表征。在基准数据库上,本工作进行了充足的实验,验证了基于过完备表征的微光图像质量评估方法具备良好预测精度以及每个模块的有效性与合理性。 (2)针对现有方法难以有效指示视觉语义对图像质量感知的影响,本文提出基于多模态表征的微光图像质量评估方法。首先,针对关于视觉质量评估任务的辅助模态尚不明确问题,从语义文本角度构建了面向微光失真的多模态质量评估数据库,并通过统计分析,阐述了文本作为辅助模态的可行性与必然性。进一步,挖掘了多模态特征在提取、对齐与融合阶段的执行方案,并提出了两种深度多模态学习机制,包括了跨模态自监督学习与多模态监督学习。此外,针对多模态应用场景受限问题,从跨模态特征生成角度构建多模态信息,为实地部署提供了切实有效的方案。在所提出数据库上,本工作进行了充足的实验,验证了基于多模态表征的微光图像质量评估方法具备良好预测精度以及每个模块的有效性与合理性。综上所述,本毕设的研究成果在一定程度上具备创新性和实用性,对图像质量评估领域有一定的贡献。

关键词：无参考图像质量评估微光失真过完备表征学习多模态表征学习

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：