检索结果-内蒙古大学图书馆

作者：张俊歌燕山大学

学位级别：硕士

随着世界人口数量的不断增加,大规模人群聚集活动越发频繁。为了防止踩踏事故的发生,对密集区域的人群数量进行实时监测至关重要。目前现有可见光图像人群计数方法已经取得较好的计数性能,但在弱光照或无光照人群场景下,可见光图像无法... 详细信息

随着世界人口数量的不断增加,大规模人群聚集活动越发频繁。为了防止踩踏事故的发生,对密集区域的人群数量进行实时监测至关重要。目前现有可见光图像人群计数方法已经取得较好的计数性能,但在弱光照或无光照人群场景下,可见光图像无法为人群计数任务提供足够的光学信息。因此,在可见光图像基础上引入红外热图像及深度图像进行跨模态图像人群计数亟待研究。鉴于此,拟开展基于注意力增强的跨模态图像人群计数方法研究,具体研究内容如下:首先,针对跨模态图像人群计数任务中的尺度变化现象,以提升模型尺度特征表达能力为出发点,研究一种基于尺度感知注意的跨模态图像人群计数方法。在分析人群尺度变化特点基础上,设计一种多分支注意融合结构,以充分获取跨模态图像的多尺度信息;结合跨模态图像的特征互补性和信息关联性,设计一种跨模态尺度感知特征融合结构,对跨模态图像间的多尺度信息进行互补融合。通过融合上述两种结构获取的跨模态多尺度信息,从而降低人群尺度多变现象对跨模态图像人群计数准确性的负面影响。其次,为了解决跨模态图像的空间弱错位现象对计数性能产生的负面影响,研究一种基于空间校正频域注意的跨模态图像人群计数方法。在分析跨模态图像间的空间差异基础上,通过利用可变形卷积的可偏移性设计一种跨模态特征校正结构,以实现跨模态图像间空间弱错位现象的校正。在跨模态图像特征校正的基础上,利用小波变换设计一种级联注意力结构,获取频域维度特征信息。通过融合上述两种结构获取空间对齐特征信息和频域信息,从而提升跨模态图像人群计数方法对空间弱错位现象的鲁棒性。最后,对上述两种跨模态图像人群计数方法进行消融实验分析,并将上述两种方法与现有经典方法进行实验对比分析,所设计方法在公开跨模态人群数据集上与现有经典方法相比,在大部分数据集上取得了较好的性能,验证了所提方法在跨模态图像人群计数任务上的可行性和有效性。

关键词：人群计数跨模态图像注意力增强多尺度感知空间校正

来源：评论

学校读者我要写书评

暂无评论

泛化迁移深度学习下的跨模态图像行人识别算法

引用

吉林大学学报（信息科学版） 2024年第1期42卷 137-142页

作者：蔡现龙李阳陈曦西安明德理工学院信息工程学院西安710124

针对由于受光照条件变化、行人身高差异等影响,致使监控视频图像在不同时刻的成像存在较大的跨模态差异问题,为准确识别跨模态图像中的行人,提出基于泛化迁移深度学习的跨模态图像行人识别算法。通过循环生成对抗网络(Cyele GAN:Cycle G... 详细信息

针对由于受光照条件变化、行人身高差异等影响,致使监控视频图像在不同时刻的成像存在较大的跨模态差异问题,为准确识别跨模态图像中的行人,提出基于泛化迁移深度学习的跨模态图像行人识别算法。通过循环生成对抗网络(Cyele GAN:Cycle Generative Adversarial Network)形成跨模态图像,采用单目标图像处理对基准图分割处理,得到人体候选区域,在匹配图中搜索和其匹配的区域,得到人体区域的视差,通过视差提取人体区域的深度和透视特征。将注意力机制和跨模态行人识别相结合,分析两种不同类型图像的差异,将两个子空间映射到同一个特征空间,同时引入泛化迁移深度学习算法对损失函数度量学习,自动筛选跨模态图像的行人特征,最终通过模态融合模块将筛选的特征融合处理完成行人识别。实验结果表明,所提算法可以快速、准确地提取不同模态图像中的行人,识别效果较好。

关键词：泛化迁移深度学习跨模态图像行人识别特征提取

来源：评论

学校读者我要写书评

暂无评论

结合语义属性信息的异质人脸图像识别算法研究

结合语义属性信息的异质人脸图像识别算法研究

引用

作者：刘德成西安电子科技大学

学位级别：博士

异质人脸图像识别是指不同模态的人脸图像之间的相互识别,也称之为跨媒体人脸识别。比如,在刑侦领域有时难以得到犯罪嫌疑人的照片,往往需要用画家根据目击者描述所绘制的素描画像来替代;在视频监控系统相关的应用中,往往用近红外图像... 详细信息

异质人脸图像识别是指不同模态的人脸图像之间的相互识别,也称之为跨媒体人脸识别。比如,在刑侦领域有时难以得到犯罪嫌疑人的照片,往往需要用画家根据目击者描述所绘制的素描画像来替代;在视频监控系统相关的应用中,往往用近红外图像来克服环境光照对可见光人脸图像识别的影响;在机场、车站等场所需要进行身份证照片与相机实时采集图像进行身份比对,以验证身份信息。异质人脸图像识别在生物特征识别和公共安全领域具有重要的研究意义和广泛的应用价值。研究发现,由于异质人脸图像存在形状纹理差异大、数据量少等问题,传统的人脸识别方法难以直接用于异质图像人脸识别任务中,这给异质人脸图像识别带来了巨大的挑战。本论文致力于结合人脸语义属性信息为以减少异质人脸图像模态差异性和数据量缺少所带来的不利影响,提出一系列异质人脸图像识别的新方法。本文的主要创新性工作概括如下:1.提出一种结合语义属性信息与可判别信息的异质人脸图像识别算法。现有的异质人脸识别方法大多数都是采用提取模态不变特征,或者是将不同模态的图像转化为统一模态的方法,来减少不同模态图像带来的差异性。但是,由于不同模态的异质人脸图像在形状,纹理等方面存在有很大的差异,仅仅依靠图像信息很难有效解决跨模态差异性的问题。因此,我们从实际问题出发,提出一种能够结合语义属性信息和可判别信息的异质人脸识别方法,该方法可以能够有效利用人脸语义属性信息在不同模态下均具有较好鲁棒性的优点,并结合人脸属性相关文字信息和人脸图像信息,增强了跨模态模式特征的可判别性。实验结果表明,该方法可以有效结合人脸语义属性信息来减少模态差异对识别效果的影响,进一步提高了异质人脸图像的识别准确率。2.提出一种基于多语义属性指导与局部特征表示的异质人脸图像重检索算法。现有的识别方法在处理异质人脸图像时,只是考虑数据分布不同带来的模态差异,而忽略了真实场景下异质人脸图像的模态差异特殊性:其由于生成机制的复杂性和特殊性,不同模态的异质人脸图像存在不可避免的局部部件形变,纹理缺失等特殊的模态差异。针对这一问题,提出一种基于多语义属性指导与局部特征表示的异质人脸图像重检索方法,以减少其特殊生成机制给识别任务带来的不利影响。我们先根据多语义属性信息作为指导线索,针对目标人物生成多属性指导的增广数据来增加目标人脸的图像信息,减少其特殊模态差异带来的影响;然后根据人脸局部特征表示信息在不同模态下均具有较好相似性的特点,利用一种可迭代的重检索方法来分别对各个人脸局部部件的可判别特征进行有效融合。实验结果表明,该方法通过多语义属性指导和局部特征迭代融合,可以有效提高异质人脸识别的效果。3.提出一种基于语义属性信息解构与有监督学习的异质人脸图像识别算法。现有异质人脸识别方法在处理图像模态较大模态差异时,往往采取设计新的网络结构和损失函数来提取模态不变特征;或是直接将不同模态图像直接合成为相同模态图像,以减少其差异。前者方法往往会使用黑盒深度网络模型,目前缺少可解释性;而后者会在跨模态合成阶段引入不可避免的合成偏差,且其合成图像的质量往往会影响识别效果。针对上述不足,提出一种基于语义属性信息解构与有监督表征学习算法。该方法通过构建可解释性的异质人脸表征结构,以对语义属性信息和身份信息进行解构分析;然后通过提取模态不变性身份可判别性信息来完成异质人脸识别任务。实验结果表明,该方法在多种异质人脸图像识别场景下均取得了较好的识别性能。4.提出一种基于语义属性信息解构与无监督学习的异质人脸分析算法。现有无监督解构表征学习相关方法在对人脸图像进行语义属性信息解构时,存在重构图像质量差,且语义属性因素解构性能较低等问题,这给无监督表征学习在异质人脸分析等领域的应用带来了极大的挑战。针对上述问题,提出一种基于语义属性信息解构与无监督学习的异质人脸分析算法。首先,利用深度网络设计编码-解码结构对异质人脸图像进行重建;然后,为了应对语义属性因素纠缠问题,利用一种身份保持的可判别性解构表征模型,提高语义属性信息解构能力。实验结果表明,在异质人脸分析场景下,该方法与现有相关方法相比在重构质量和解构性能均具有更好的表现。5.提出基于大规模非真实合成画像的异质人脸图像识别算法,并给出该识别场景实验设计与基准算法验证结果。现有的异质人脸识别方法主要针对于各种真实环境下采集的异质人脸图像,然而由于刑侦场景下真实人脸画像的数据采集往往会存在制作周期长,流程复杂成本高且涉及隐私安全等问题,导致现阶段该人脸画像训练数据数量不足,限制了深度学习模型在该领域的应用与发展。针对上述问题,提出基于大规模非真实合成画像的异质人脸图像识别场景。首先根据刑侦场景下实际应用的画像数据类型,定义两种具体的识别场景,并分别验证基准算法在真实识别场景下的结果。通过对实验结果的分析与研究,证明基于大规模非真实合成画像的异质人脸图

关键词：异质人脸图像语义属性跨模态图像人脸识别

来源：评论

学校读者我要写书评

暂无评论

基于GCI-CycleGAN风格迁移的跨模态地理定位方法

引用

红外与激光工程 2023年第7期52卷 311-323页

作者：李清格杨小冈卢瑞涛王思宇范继伟夏海火箭军工程大学导弹工程学院陕西西安710025

近年来基于视觉的飞行器自主视觉定位技术发展迅速,是飞行器导航制导、态势感知和自主决策的关键技术之一。针对现有跨模态地理定位任务中存在模态差异大、匹配难度大、定位鲁棒性差等问题,提出了一种基于GCI-CycleGAN风格迁移的跨模态... 详细信息

近年来基于视觉的飞行器自主视觉定位技术发展迅速,是飞行器导航制导、态势感知和自主决策的关键技术之一。针对现有跨模态地理定位任务中存在模态差异大、匹配难度大、定位鲁棒性差等问题,提出了一种基于GCI-CycleGAN风格迁移的跨模态地理定位方法,通过将风格迁移算法、特征匹配算法和地理定位方法相结合,实现了飞行器跨模态地理定位。首先,获取无人机航拍的正下视实时红外图像和地理位置信息已知的可见光图像;其次,基于生成对抗网络图像风格转换的思想,设计新的生成对抗损失函数,构建并训练了GCI-CycleGAN模型,将可见光图像转换为红外图像;然后,利用SIFT、SURF、ORB、LoFTR、DFM匹配算法对生成的红外图像与实时红外图像进行匹配;最后,通过透视变换获得实时红外图像中心点在生成图像中的位置,再将该定位点映射到相应的可见光图像上,得到最终的地理定位结果。实验表明,GCI-CycleGAN相比CycleGAN网络可以有效提高图像风格迁移质量,与DFM智能匹配算法结合的匹配成功率最高可达99.48%,比原始跨模态匹配结果提高了4.73%,平均地理定位误差仅为1.37 pixel,取得了更加精确、鲁棒的地理定位结果。

关键词：地理定位风格迁移智能匹配跨模态图像深度学习

来源：评论

学校读者我要写书评

暂无评论

基于转换生成网络的素描人脸识别

引用

计算机工程与设计 2022年第1期43卷 269-276页

作者：霍西宝曹林郭亚男杜康宁北京信息科技大学光电测试技术及仪器教育部重点实验室北京100101 北京信息科技大学信息与通信工程学院北京100101

针对素描图像和可见光图像存在较大模态差异这一问题,提出一种基于转换生成网络的素描人脸识别方法,该网络同时实现跨模态图像生成和素描人脸识别。转换生成网络由生成器、判别器和特征转换网络(S网络)组成。生成器生成图像,判别器使得... 详细信息

针对素描图像和可见光图像存在较大模态差异这一问题,提出一种基于转换生成网络的素描人脸识别方法,该网络同时实现跨模态图像生成和素描人脸识别。转换生成网络由生成器、判别器和特征转换网络(S网络)组成。生成器生成图像,判别器使得生成图像具备两种模态信息,S网络提取高级语义特征来辅助生成图像和识别。使用端对端训练来更新模型参数,通过引入识别损失约束项指导生成更好的跨模态图像,通过生成的跨模态图像减少模态差异带来的识别精度损失。在UoM-SGFSv2、e-PRIP等素描人脸数据集上验证该方法识别性能,实验结果表明,该方法识别效果优于其它对比算法。

关键词：素描人脸识别模态差异转换生成网络图像生成特征转换网络跨模态图像

来源：评论

学校读者我要写书评

暂无评论

权值动态化约束的跨模态非局部均值滤波器

引用

数字技术与应用 2021年第7期39卷 110-113,116页

作者：蔡郁青孙忠贵聊城大学季羡林学院山东聊城252000 聊城大学数学科学学院山东聊城252000

非局域均值滤波器是目前图像处理领域一个重要去噪算法。传统的非局域均值滤波器,主要针对单模态图像进行设计。将其应用于跨模态图像处理时,由于图像间的结构差异性,往往导致其滤波输出产生纹理复制的缺陷。针对这一问题,本文引入相关... 详细信息

非局域均值滤波器是目前图像处理领域一个重要去噪算法。传统的非局域均值滤波器,主要针对单模态图像进行设计。将其应用于跨模态图像处理时,由于图像间的结构差异性,往往导致其滤波输出产生纹理复制的缺陷。针对这一问题,本文引入相关系数进行图像间的结构相似性刻画,并将其用于滤波器权值的动态正则化约束,最终得到一个适应跨模态场景的非局部均值滤波器算法。实验结果表明了所提算法的有效性。

关键词：非局域均值滤波跨模态图像噪声滤除深度图像彩色图像

来源：评论

学校读者我要写书评

暂无评论

RGB--to--NIR Image Translation Using Generative Adversarial Network

RGB--to--NIR Image Translation Using Generative Adversarial ...

引用

作者： Yi Huang 华中师范大学

学位级别：硕士

图像的模态指的是在不同的采集条件下获得的对同一对象不同属性特征的描述。例如：对于行人来说，相同姿态下，在可见光条件下使用普通相机拍摄得到的RGB图像和使用红外相机拍摄到的NIR图像就是该对象的两种不同模态图像。显然，对于同... 详细信息

图像的模态指的是在不同的采集条件下获得的对同一对象不同属性特征的描述。例如：对于行人来说，相同姿态下，在可见光条件下使用普通相机拍摄得到的RGB图像和使用红外相机拍摄到的NIR图像就是该对象的两种不同模态图像。显然，对于同一个对象，不停模态下的图像蕴含着不同的特征。而基于多模态协同的任务有助于提升对象的表达能力，获取更全面精确的信息，从而提升和扩展其余应用如跨模态行人识别等的处理能力。一般而言，跨模态图像生成要求学习两种模态图像之间一对一的映射关系，且对生成的目标模态图像具有严格的输出要求：尽可能达到与真实目标模态图像像素级别的“精确匹配”。然而，当模态之间差异较大的时候，跨模态图像之间的转换生成是非常困难的。这是因为在大多数情况下，图像到图像的转换是个不良定义的问题，即不同领域图像之间的转换关系是不明确的。也就是说，对于给定的源图像，可能存在多张符合定义的目标领域图像。　　早期的图像到图像转换可以追溯到图像类比算法。该算法从多对输入-输出图片中学习到对应像素点的转换关系，再把这种关系运用到新的图片转换上，从而得到对应的转换图片。近年来，卷积神经网络凭借其强大的多层次图像特征提取和表示能力，被广泛应用于计算机视觉领域的众多任务中，并表现出了优异的性能，随着基于深度学习的生成模型的发展，研究者开始将深度学习模型应用到该算法中，取得了较好的转换效果。此时，图像转换任务依然可以看作一种广义的实例分割任务。由于生成对抗网络在清晰图像生成上的优异表现，基于GAN的网络模型开始被用来处理图像转换任务。在该任务中，生成器输入的不再是随机噪声，而是一张需要进行转换的图像。研究者们使用大量一一配对的图像结合条件生成对抗网络，提出了一个通用的图像到图像转换架构并选择合适的损失函数对模型进行优化，在很多图像到图像转换任务中取得了很好的结果。　　本文研究的跨模态图像生成是一种特殊的图像到图像转换，其要求学习两种模态图像之间一对一的映射关系，且对生成的目标模态图像具有严格的输出要求。虽然现有的图像到图像转换算法在很多任务中能够得到看上去比较真实的目标领域图像，但是生成的图像与真实图像之间的像素值及图像结构差异仍然比较大。因此，本文的跨模态图像生成要求生成的图像和真实图像之间尽可能达到像素级别的一致性同时尽可能的保留图像结构信息。并基于此提出了一种解决方案：利用边缘损失函数替代原模型中的内容损失函数，用于解决原模型中生成图像边缘模糊以及因为内容损失函数约束太强而造成的生成器泛化能力减弱的问题。同时，引入局部像素转换用于生成器的预训练中，提升生成器的像素转换精度。具体工作如以下各部分所述：　　(1)提出了一种边缘损失函数用于替代原CycleGAN模型中的内容损失函数。这是因为第一，边缘损失可有效提升生成图片的边缘精度。无论是RGB模态的图像还是NIR模态的图像，它们之间的边缘检测的结果是一致的。其次，对于内容损失函数，其约束使得生成器的输出与输入趋于一致，生成器的泛化能力减弱。具体来说，给定一个真实样本xli：，生成样本譬七依然对应着原真实样本。而最小化内容损失D(X七，X足)z是无意义的。相反的，对于边缘损失函数来说，即使给定的边缘与生成边缘完全一致，由于RGB图像与NIR图像的边缘一致性，最小化边缘损失依然有着实际意义。对于各区域间的像素转换，则由如下所述的使用局部像素的生成模型预训练完成。　　(2)通过图像分割，扩充对称训练集，完成基于像素转换的预训练。跨模态图像生成要求学习两种模态图像之间一对一的映射关系，且对生成的图像具有严格既定的输出要求。然而，目前的图像到图像转换算法在处理此类问题时无法得到满足实际应用要求的结果。基于此，本文提出了一个解决方案，通过额外提供少量的真实目标观测信息来帮助模型学习两种模态图像之间的一对一映射关系。首先，将输入的高质量大图像分割成大量低质量小图像。可以极大的扩充用于预训练的数据集。受限于传感器设备，捕捉动态物体在同一光源角度的不同模态的对称图像及其困难。而对于静态背景的跨模态对称图像的获取则简单的多。由于预训练阶段生成器只关注于局部的像素转换，并不关心全局的图像结构。所以，使用局部像素预训练还可以通过使用其它更易获取的基于静态物体的跨模态对称数据集进行预训练。　　(3)在生成器的预训练阶段添加判别器损失函数。对于同样是像素转换的实例分割任务，其要优化的目标损失函数为D(丘，J七)2。在图像转化中，这是远远不够的。这是由于实例分割的损失函数只关心所有像素的平均损失，并不关心生成图像的结构。同时，基于共享潜在空间假设可知，深度生成模型通过将一个领域的知识映射到潜在空间来编码一个领域内的隐式知识，进而可以通过控制潜在变量在学习域内生成特定的样本。因此，一旦该模型学会了一组域内的条件生成样本，使用其生成另一组条件样本将变的

关键词：跨模态图像生成器像素转换边缘损失

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：