检索结果-内蒙古大学图书馆

作者：巩梦岩北京化工大学

学位级别：硕士

面部动作单元(Action Unit,AU)检测是指通过计算机视觉技术识别出人脸图像存在哪些AU,通过不同AU的组合可以有效且客观地对面部表情进行描述,在人机交互、心理学研究、医学诊断、情感识别等领域有广泛的应用价值。由于面部表情的非刚性... 详细信息

面部动作单元(Action Unit,AU)检测是指通过计算机视觉技术识别出人脸图像存在哪些AU,通过不同AU的组合可以有效且客观地对面部表情进行描述,在人机交互、心理学研究、医学诊断、情感识别等领域有广泛的应用价值。由于面部表情的非刚性变化、某些AU发生时的面部变化不明显以及AU表达的多样性和个体差异,面部AU检测是一个具有挑战性的任务。目前,一些深度学习方法已经被提出来用于面部AU检测,然而仍存在一些问题有待解决。现有AU数据集的规模有限,模型缺乏良好的泛化性。另外,如果模型未能充分挖掘和利用AU之间的复杂关联,将对性能产生影响。本文围绕多任务学习和AU关系学习两方面进行研究,主要内容如下: 1.提出了一种基于多任务学习和图注意力网络的面部AU检测方法,将面部AU检测、面部关键点检测和面部情绪识别这三个高度相关的任务通过共享的底层网络进行联合学习,提高了训练数据的多样性,模型能够学习到更丰富的特征。此外,将图注意力网络引入到模型中进行AU关系学习,图注意力网络可以学习AU之间的关系重要性,从而准确地利用AU关系。最后,采用基于注意力机制的特征融合模块,将关键点特征和情绪特征对AU特征进行补充,使AU特征更加丰富并且减少特征冗余。所提出的方法在BP4D和DISFA数据集上分别取得了62.6%和63.4%的F1分数,以及78.5%和93.7%的准确率。 2.提出了一种基于多门专家混合结构(Multi-gate Mixture-of-Experts,MMOE)的多任务学习和Transformer的面部动作单元检测方法,将面部AU检测和面部关键点检测这两个任务通过基于MMOE的多任务方法进行联合学习。MMOE结构通过专家网络和门控机制使不同任务得到更好的平衡,并减少了优化冲突。此外,模型通过Transformer编码器学习不同AU的相关性和重要性,通过全局的特征交互模型产生的AU特征更具有鉴别性。所提出的方法在BP4D和DISFA数据集上分别取得了62.5%和61.2%的F1分数,以及78.1%和93.8%的准确率,并且可以实现端到端学习。

关键词：面部动作单元检测多任务学习图注意力网络 Transformer

来源：评论

学校读者我要写书评

暂无评论

基于区域注意力学习的面部动作单元检测

基于区域注意力学习的面部动作单元检测

引用

作者：陈香伊华中师范大学

学位级别：硕士

面部表情是人类表达情绪、欲望、意图的重要载体。自面部动作编码系统(Facial Action Coding System,FACS)引入面部动作单元(Action Unit,AU)的概念后,从AU的角度分析面部表情可以更加客观且准确地分析人的情绪意图。面部动作单元检测... 详细信息

面部表情是人类表达情绪、欲望、意图的重要载体。自面部动作编码系统(Facial Action Coding System,FACS)引入面部动作单元(Action Unit,AU)的概念后,从AU的角度分析面部表情可以更加客观且准确地分析人的情绪意图。面部动作单元检测在综合描述面部表情方面起着基础性作用,已成为计算机视觉领域一个重要的研究课题,在心理诊断、人机交互等领域有着广阔的应用前景。AU视角的面部表情是细微且稀疏的,目前研究通常使用局部特征编码的方法,基于先验知识构建AU掩膜,需要人工手动构建并剪裁出相关区域。掩膜的裁剪准确度、裁剪尺寸、裁剪数量等因素通常对模型性能有较大影响。此外,当前很多研究聚焦于提高整个空间特征编码的质量,默认合并所有通道维度特征,忽略了部分通道信息在AU检测中的重要贡献,导致噪声模糊了重要信息,限制模型精度进一步提升。为解决上述问题,本文提出一种基于区域注意力学习的面部动作单元检测算法,以提升面部动作单元检测的精度。本文主要工作和贡献如下:(1)利用面部AU局部且细微的特点,使用基于均匀分块的区域卷积方法,对每个分块用一组独立的卷积核去拟合面部AU的结构特征,使得每个区域学习到的特征权重能捕获重要的特征信息,促使模型拟合区域特征。区域卷积方法在保证模型精确度的基础上降低了工作复杂度。(2)针对区域卷积只关注空间层面AU特征而丢失AU通道信息的问题,提出自适应的区域通道注意力方法,联合空间特征来强化学习通道层面的AU特征。本方法可抑制模型学习不重要的通道特征,同时完全捕获通道层面的AU信息,从通道层面出发重点学习稀疏的面部特征,并且降低过拟合现象。结果表明,所提方法在DISFA和CK+数据集上分别取得了 64.5%和68.2%的识别准确率(F1值),与目前主流的几种面部动作单元检测方法相比,达到较高水平。(3)基于本文提出的面部动作单元检测算法,设计并开发了面部动作单元检测系统,实现了端到端的AU检测、推断情绪状态并进行结果可视化展示。本文研究结果为提高面部动作单元检测精度提供了一种新思路,为探索孤独症儿童情绪共情能力智能化评估带来新启示。

关键词：面部动作单元检测面部动作编码系统区域学习注意力机制

来源：评论

学校读者我要写书评

暂无评论

基于视频的面部动作单元检测算法研究

基于视频的面部动作单元检测算法研究

引用

作者：范耀文广东工业大学

学位级别：硕士

面部表情是一种人类的一种重要交流方式。为了更精确地描述人类面部的动作变化,相关学者提出了面部动作编码系统。根据面部肌肉群及其运动,面部动作编码系统将面部动作分为多个面部动作单元编码。面部动作编码系统作为一种人类表情的客... 详细信息

面部表情是一种人类的一种重要交流方式。为了更精确地描述人类面部的动作变化,相关学者提出了面部动作编码系统。根据面部肌肉群及其运动,面部动作编码系统将面部动作分为多个面部动作单元编码。面部动作编码系统作为一种人类表情的客观描述方法,在微表情识别、人机交互等任务上发挥着重要作用。如何以尽量少的专家标注数据进行训练,同时获得高准确率的面部动作单元检测器是目前研究的热点。目前,面部动作单元检测的方法主要有描述子方法、监督学习方法、半监督和弱监督学习方法和自监督方法等。其中自监督方法因具有不需要标注数据、不需要先验知识等特点,能够避免难度高、花费时间长、准确性低、对标注人员专业知识要求高的面部动作单元标注过程,同时具有鲁棒性高、泛化能力强的优点。本文针对现有自监督面部动作单元检测方法中对特征解耦效果较差、缺少对时域特性的利用等问题,本文提出一种新的基于视频的面部动作单元检测方法。该方法使用无标注的人脸视频作为训练样本,以自监督方式进行训练,并且不需要额外的先验知识。本文的主要研究内容如下:(1)使用多个编码器分别对人脸图像的个体特征、头部姿态特征、面部动作单元特征进行特征提取,通过对比学习的方式使用无标注人脸视频数据进行自监督学习,并对各项特征进行解耦,能够提取到较为纯净的、不含其他无关信息的面部动作单元特征。(2)对从人脸图像中所提取到各项特征,通过解码器进行图像重建,使用重建误差作为损失函数进行训练。除了直接使用单幅图像中的特征进行图像重建,本文还提出了组合不同图像中的不同特征,以生成新的重建图像,根据人脸面部特征的时域一致性,能够加强特征提取以及特征解耦的效果。(3)对本文方法进行了实验,对实验结果进行了分析,并与其他已有工作的实验结果进行了对比,研究了不同损失函数项和最终面部动作单元检测器性能之间的关系。最终,经过实验并调整了最优的模块组合以及参数设置,本文方法在BP4D人脸数据集上进行了面部动作单元检测实验的验证,取得了59.0%的平均F1指标,在同等实验条件下,超过了已有的其他自监督方法所取得的52.0%。对本文工作的总结为:在利用无标注数据进行面部动作单元检测的基础上,创新地采用了对比学习等方式,获得了比先前方法更高性能的基于自监督的面部动作单元检测器。

关键词：特征提取面部动作单元检测特征解耦自监督学习

来源：评论

学校读者我要写书评

暂无评论

基于自监督的人脸面部动作单元检测

引用

科学技术创新 2022年第5期 62-65页

作者：范耀文广东工业大学自动化学院广东广州510006

为了能够更好地从无标注图像中提取和人脸信息相关的特征,从而提升面部动作单元检测的准确度,提出了基于自监督的人脸面部动作单元检测方法。该方法将vision transformer作为编码器提取视频序列中每一帧的人脸特征,并利用视频序列中自... 详细信息

为了能够更好地从无标注图像中提取和人脸信息相关的特征,从而提升面部动作单元检测的准确度,提出了基于自监督的人脸面部动作单元检测方法。该方法将vision transformer作为编码器提取视频序列中每一帧的人脸特征,并利用视频序列中自然存在的时序特性对这些特征构造三元组损失函数。同时利用每个视频中个体信息的一致性,将提取出的人脸特征解耦为个体特征和表情特征,从而为人脸面部动作单元检测等下游任务剔除掉无关的噪音,进而提升下游任务的表现性能。通过在BP4D数据集上进行的实验与其他最先进的自监督方法进行对比,本文的方法在性能上超越了已有的其他方法。

关键词：面部动作单元检测自监督学习 Vision Transformer

来源：评论

学校读者我要写书评

暂无评论

基于Transformer的时空特征融合人脸动作单元检测

基于Transformer的时空特征融合人脸动作单元检测

引用

作者：黎昊程电子科技大学

学位级别：硕士

随着人机交互技术的发展,人脸情绪识别在情感理解和智能交互中扮演着关键角色。人脸动作单元检测作为情绪识别的核心,其准确性对于理解人类情感至关重要。本文聚焦于利用Transformer的时空特征融合方法提升人脸动作单元检测的性能,最终... 详细信息

随着人机交互技术的发展,人脸情绪识别在情感理解和智能交互中扮演着关键角色。人脸动作单元检测作为情绪识别的核心,其准确性对于理解人类情感至关重要。本文聚焦于利用Transformer的时空特征融合方法提升人脸动作单元检测的性能,最终建立起一个人脸动作单元分类任务的有效模型。全文工作及创新如下: 本文设计了一种基于Transformer的空间注意力机制,该机制结合了Transformer的全局信息融合能力和HRNet的高分辨率空间特征提取能力。通过自注意力机制,模型能够精准地捕获面部动作单元之间的空间依赖关系;而HRNet则负责从图像中提取丰富的局部空间特征。这种结合使得模型能够同时关注面部动作的全局和局部信息,提升了人脸动作单元检测的准确性。本文设计了一种Transformer时序建模方法,该方法对视频数据中连续帧进行时序建模用以提取时序特征,同时将视频帧对应的音频信号转化为梅尔频谱图送入网络模型中组成双模态输入,以增加特征的多样性。这种多模态融合的时序建模方法使得模型能够更全面地捕捉人脸动作单元的时序变化特征,从而进一步提高人脸动作单元检测的准确性。针对人脸动作单元任务标签缺失的问题,本文采用了Mean-Teacher半监督学习策略。通过构建一个学生模型和一个教师模型,并利用多任务辅助标签对人脸动作单元检测任务进行启发式学习,本文同时利用有标签和标签缺失的数据进行训练,提高了模型的泛化能力。最后,本文将以上各模块关键算法结合,设计出一种基于Transformer的人脸动作单元检测模型,在Aff-Wild2数据集上的平均F1指标达到0.483,本文提出的算法使基线模型精度提升了5.4%。

关键词：深度学习人脸检测面部动作单元检测多任务学习半监督学习

来源：评论

学校读者我要写书评

暂无评论

面向人脸深层感知的微弱特征分析方法研究

面向人脸深层感知的微弱特征分析方法研究

引用

作者：牛雪松中国科学院大学

学位级别：博士

人脸作为一种重要的生物特征，除了能够反映人的身份、表观属性等浅层特点外，还能反映人的生理及心理状态等深层特点，而对人的深层特点的感知主要通过分析人脸表面的微弱特征来实现。常用的微弱特征包括人脸表面颜色变化和面部动作。... 详细信息

人脸作为一种重要的生物特征，除了能够反映人的身份、表观属性等浅层特点外，还能反映人的生理及心理状态等深层特点，而对人的深层特点的感知主要通过分析人脸表面的微弱特征来实现。常用的微弱特征包括人脸表面颜色变化和面部动作。其中人脸表面的颜色变化能有效反映心率、呼吸率、心跳变异性等生理状态，而面部动作能有效反映人的情绪状态。基于微弱特征分析的人脸深层感知方法在健康监控、心理疾病诊断等领域具有重要的应用价值。　　面向人脸深层感知的微弱特征分析方法面临着标注数据稀缺以及信号微弱的挑战。这些挑战导致了传统的特征学习方法特征表达能力不足，从而影响了人脸深层感知的准确性和鲁棒性。针对上述问题，本文从鲁棒的信号表示、解耦特征学习、无关因素消除以及多视角特征学习等方面开展研究。本文的主要贡献包括以下四个方面:　　(1)提出了基于时空表示图的生理信号表示方式。本文针对人脸视频中生理信号微弱所带来的特征学习困难这一问题，提出了一种能有效去除背景信息，增强人脸生理信号的表示方式——时空表示图，并基于该时空表示图，通过卷积神经网络和时序建模来学习有效的生理信号表征。与此同时，针对现有公开数据集数量少和规模小的问题，本文还构建了一个大规模的生理指标测量数据集VIPL-HR。该数据集在采集过程中考虑了光照、姿态以及传感器等多种变化因素，更加贴近实际应用场景。在VIPL-HR等多个数据集上的实验证明，时空表示图能有效地表征人脸的生理特征，提高生理指标测量的准确性。　　(2)提出了基于交叉验证的生理特征解耦方法。针对上一个方法中生理信息和非生理信息耦合在一起影响特征学习的问题，本文提出了基于交叉验证的解耦特征学习方法，通过交叉合成伪样本，然后验证伪样本与原始样本之间的生理及非生理信息的一致性，使得生理及非生理特征编码器所编码的特征相互解耦，更加聚焦。与此同时，利用生理特征编码器所编码的特征可以为无标注人脸视频提供伪生理指标标注，从而可以利用无标注人脸视频来进行模型训练，提高模型的泛化性能。在多个数据集上的实验表明，该方法能有效解耦出人脸视频中的生理信号特征，从而提高生理指标测量的鲁棒性。　　(3)提出了人脸形状无关的面部动作单元特征学习方法。面部动作单元依赖专家进行标注，耗时耗力，因此现有的面部动作单元数据集普遍规模不大，从而导致了特征学习易受人脸形状等个体因素的影响。针对这一问题，本文提出了在特征学习过程中消除人脸形状等无关因素影响的面部动作单元特征学习方法。本文首先利用局部关系学习的方式来实现不同局部区域之间信息的传递，从而获得鲁棒的面部动作单元特征。之后通过引入人脸形状特征来修正面部动作单元预测结果的偏差，实现更加鲁棒的面部动作单元检测。在多个数据集上的实验表明该方法能有效消除人脸个体形状带来的预测结果偏差，从而提高面部动作单元的鲁棒性。　　(4)提出了基于多视角协同正则训练的半监督面部动作单元检测方法。在上一个方法中研究了如何利用小规模有标注数据实现鲁棒的特征学习，与此同时，现实场景中存在着大规模的无标注人脸图像，如何充分挖掘这些图像中的信息来辅助面部动作单元特征的学习具有重要的研究意义。针对这一问题，本文提出了基于多视角协同正则训练的半监督面部动作单元特征学习方法。对于无标注的人脸图像，本文首先利用多个深度卷积网络模型来提取不同视角的特征，并通过多视角损失函数来约束不同视角的特征不相关，然后利用多视角协同正则损失函数来实现多个视角之间特征的相互学习。此外本文还利用图卷积网络来建模不同面部动作单元之间的相关性，实现不同面部动作单元之间的信息传递。在多个数据集上的实验表明该方法能有效利用无标注数据，提升面部动作单元检测的能力。　　上述工作针对面向人脸深层感知的微弱特征分析这一任务中数据少、信号弱等核心挑战，提出了鲁棒的信号表示、解耦特征学习、无关因素消除以及多视角特征学习等方法，实现了半开放场景下，针对人脸生理信号以及面部动作等微弱特征的分析和测量，为构建鲁棒的人脸深层感知系统奠定了的基础。

关键词：人脸深层感知微弱特征生理指标测量面部动作单元检测远程光电容积脉搏波描记法解耦特征学习半监督学习

来源：评论

学校读者我要写书评

暂无评论

多任务人脸表情识别方法研究

多任务人脸表情识别方法研究

引用

作者：王储中国科学院大学

学位级别：硕士

表情是人类表达情感的主要方式，是人类社会交往中重要的非语言沟通渠道。自动识别人脸表情在人工智能、虚拟现实、人机交互等领域具有重要的理论意义和应用价值。根据不同需求，人脸表情识别可通过不同的任务实现，常见的任务包括基本... 详细信息

表情是人类表达情感的主要方式，是人类社会交往中重要的非语言沟通渠道。自动识别人脸表情在人工智能、虚拟现实、人机交互等领域具有重要的理论意义和应用价值。根据不同需求，人脸表情识别可通过不同的任务实现，常见的任务包括基本情绪分类和面部动作单元检测。基本情绪分类指将表情划分为若干离散的基本情绪之一。面部动作单元是心理学家根据面部肌肉运动定义的人脸动作分类。目前，大多数表情识别工作集中在其中一种任务上。然而，不同的表情识别任务之间具有强相关性，同时学习相关任务可以获得更加精确的分类和识别效果。因此，本论文围绕多任务表情识别开展研究，主要完成以下工作:　　（一）提出了一种自适应权重共享的多任务表情识别网络，同时进行情绪分类和面部动作单元检测。该方法通过在两个任务网络的每一层后放置一个自适应权重共享单元，来自动学习一个任务应该在何处以及在多大程度上从另一个任务借用信息。整个多任务网络模型采用端到端的方式训练，从只标注情绪分类或者面部动作单元的不同任务数据集集合中学习得到。在多个数据集上的实验结果表明，自适应权重共享网络不仅提高了单任务的情绪分类模型和面部动作单元检测模型的性能，而且在人脸表情识别中优于其他先进的多任务学习方法。　　（二）提出了一种基于知识蒸馏的多任务人脸表情识别算法，将上一个工作得到的结构复杂、参数多、精度高的模型的识别能力，转移给规模小、可用于移动端计算的轻量级深度神经网络模型，如MobileNetV2。与原有的直接使用原始数据集和标签训练出模型的方式不同，本方法通过复杂模型先预测每个单任务数据集中缺失的标签，如预测情绪分类数据的面部动作单元，再用小模型拟合大模型的预测结果。因此，该方式不仅让小网络学习到了复杂模型的先验知识，而且也在一定程度上解决了多任务标注缺失的问题。在多个人脸表情识别数据集上的实验结果表明，基于知识蒸馏的多任务人脸表情识别算法可以有效的提升小模型的算法性能，并且小规模神经网络仍具备自身参数少，计算快的优点。　　（三）实现了一个准实时面部动作单元检测演示系统。该系统整合了人脸检测、特征点定位、人脸对齐以及面部动作单元检测四个模块，可以实时采集摄像头中的人脸图像并对其进行19种面部动作单元的检测。

关键词：人脸表情识别情绪分类面部动作单元检测多任务学习自适应权重共享知识蒸馏

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的人脸情绪行为分析关键算法研究

基于深度学习的人脸情绪行为分析关键算法研究

引用

作者：王凌锋电子科技大学

学位级别：硕士

人脸情绪行为分析技术一直是计算机视觉领域的重要研究课题,旨在从视频流中检测跟踪目标人脸、并实时分析目标人脸的情绪行为。该技术赋予了计算机建模目标情感的能力,可以更加客观且准确地分析目标的内心情绪与意图,在医学诊断、安全... 详细信息

人脸情绪行为分析技术一直是计算机视觉领域的重要研究课题,旨在从视频流中检测跟踪目标人脸、并实时分析目标人脸的情绪行为。该技术赋予了计算机建模目标情感的能力,可以更加客观且准确地分析目标的内心情绪与意图,在医学诊断、安全驾驶、学习教育、营销推广、电影娱乐、刑侦安防等领域有着广阔的应用前景。本文依据深度学习理论和方法,将人脸情绪行为分析拆分为人脸预处理和人脸情绪行为识别两个阶段,并对各环节的关键算法进行研究,最终建立起一个自动情绪行为识别系统,主要工作和创新如下:在人脸预处理阶段,本文分别对人脸检测算法和人脸跟踪算法进行了设计。本文首先基于CenterNet目标检测模型设计人脸检测算法,采用多任务学习思想为CenterNet扩展了人脸关键点定位能力,实现了实时速度下的人脸检测与对齐。同时,本文使用Deep Sort算法的思想进行多人脸跟踪,结合VGGFace预训练人脸特征提取模型,实现了人脸遮挡、角度变化等情况下的稳定人脸跟踪。在情绪行为分析阶段,本文从面部动作单元的时空特性出发,设计了空间注意力机制、时序建模方法以改善面部动作单元识别效果。同时,本文提出了面部动作单元间关联模块,进一步提高了情绪行为识别的性能。实验结果表明,本文提出的方法在Aff-wild2数据集上获得了领先的识别率。结合上述两阶段各关键算法,本文最终实现了一个全自动人脸情绪行为分析系统。该系统可以对视频流进行端到端的人脸检测、跟踪以及情绪行为分析,并将结果进行可视化展示。

关键词：人脸检测人脸跟踪面部动作单元检测

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：