检索结果-内蒙古大学图书馆

光电子．激光 2021年第1期32卷 101-110页

作者：唐春晓刘诗红李鸿强李恩邦天津工业大学电子与信息工程学院天津市光电检测技术与系统重点实验室天津300387 伍伦贡大学物理系澳大利亚新南威尔士州伍伦贡市2522

远程光电容积脉搏波描记法(remote Photoplethysmography,rPPG)通过分析目标区域的光线周期性变化来实现人体心率的测量,测量过程中会引入大量噪声。在这些噪声中,皮肤表面漫反射光是一种公认的常见噪声。根据光与生物组织相互作用的原... 详细信息

远程光电容积脉搏波描记法(remote Photoplethysmography,rPPG)通过分析目标区域的光线周期性变化来实现人体心率的测量,测量过程中会引入大量噪声。在这些噪声中,皮肤表面漫反射光是一种公认的常见噪声。根据光与生物组织相互作用的原理可知,没有接触到皮下动脉血管的后向散射光也属于噪声,本文中称其为浅层噪声。根据作者的文献调研,在rPPG研究领域还没有对这种噪声及其消除方法进行研究的论文。为探究如何更好的使用偏振成像方法消除这两种噪声,本文对人体面部成像光束的偏振特性进行系统性分析,得出以下结论:(1) 使用纯S光或纯P光作为入射光,后向散射光与入射光的偏振方向有差异,使用检偏器与起偏器通光轴正交的方法无法完全消除噪声,而应该让检偏器通光轴与成像光束的主要偏振方向正交;(2) 面部成像光束的偏振度分布不均匀,额头的偏振度最高,作为rPPG测量时的ROI更为合适。本文的研究结果可帮助使用偏振成像的rPPG系统得到质量更好的信号,提高信号质量和心率测量的准确性。

关键词：远程光电容积脉搏波描记法表面漫反射光浅层噪声偏振特性

来源：评论

学校读者我要写书评

暂无评论

基于生成对抗学习的标准rPPG信号生成

引用

电讯技术 2024年第7期64卷 1088-1094页

作者：涂晓光胡哲昊胡俊强刘建华雷霞刘宇昂王宇冯子亮四川大学计算机学院成都610065 中国民用航空飞行学院航空电子电气学院四川广汉618307 中国民用航空飞行学院新津分院成都611431

为了提高生成远程光电容积脉搏波描记法(remote Photoplethysmography,rPPG)信号的波形规律性,降低心率计算难度,提出了一种标准化rPPG的信号生成方法。将人脸视频输入到生成对抗网络的生成器中,生成器通过有标签数据进行监督训练,预测... 详细信息

为了提高生成远程光电容积脉搏波描记法(remote Photoplethysmography,rPPG)信号的波形规律性,降低心率计算难度,提出了一种标准化rPPG的信号生成方法。将人脸视频输入到生成对抗网络的生成器中,生成器通过有标签数据进行监督训练,预测得到人脸视频中蕴含的rPPG信号。为了进一步优化生成器的预测结果,使用数学建模方法生成标准的rPPG信号,并将其与生成器预测的信号同时输入至判别器中进行对抗学习,不断优化生成器参数,使得生成器能够学习标准信号的波形分布。这样,生成器预测的信号波形在形态上更接近于真实rPPG信号的波形分布,从而有利于后续心率计算。在不同数据集上进行的实验结果表明,该方法可以显著提高预测的准确性,且拥有更高的信噪比。

关键词：非接触式心率测量远程光电容积脉搏波描记法生成式对抗网络

来源：评论

学校读者我要写书评

暂无评论

面向人脸深层感知的微弱特征分析方法研究

面向人脸深层感知的微弱特征分析方法研究

引用

作者：牛雪松中国科学院大学

学位级别：博士

人脸作为一种重要的生物特征，除了能够反映人的身份、表观属性等浅层特点外，还能反映人的生理及心理状态等深层特点，而对人的深层特点的感知主要通过分析人脸表面的微弱特征来实现。常用的微弱特征包括人脸表面颜色变化和面部动作。... 详细信息

人脸作为一种重要的生物特征，除了能够反映人的身份、表观属性等浅层特点外，还能反映人的生理及心理状态等深层特点，而对人的深层特点的感知主要通过分析人脸表面的微弱特征来实现。常用的微弱特征包括人脸表面颜色变化和面部动作。其中人脸表面的颜色变化能有效反映心率、呼吸率、心跳变异性等生理状态，而面部动作能有效反映人的情绪状态。基于微弱特征分析的人脸深层感知方法在健康监控、心理疾病诊断等领域具有重要的应用价值。　　面向人脸深层感知的微弱特征分析方法面临着标注数据稀缺以及信号微弱的挑战。这些挑战导致了传统的特征学习方法特征表达能力不足，从而影响了人脸深层感知的准确性和鲁棒性。针对上述问题，本文从鲁棒的信号表示、解耦特征学习、无关因素消除以及多视角特征学习等方面开展研究。本文的主要贡献包括以下四个方面:　　(1)提出了基于时空表示图的生理信号表示方式。本文针对人脸视频中生理信号微弱所带来的特征学习困难这一问题，提出了一种能有效去除背景信息，增强人脸生理信号的表示方式——时空表示图，并基于该时空表示图，通过卷积神经网络和时序建模来学习有效的生理信号表征。与此同时，针对现有公开数据集数量少和规模小的问题，本文还构建了一个大规模的生理指标测量数据集VIPL-HR。该数据集在采集过程中考虑了光照、姿态以及传感器等多种变化因素，更加贴近实际应用场景。在VIPL-HR等多个数据集上的实验证明，时空表示图能有效地表征人脸的生理特征，提高生理指标测量的准确性。　　(2)提出了基于交叉验证的生理特征解耦方法。针对上一个方法中生理信息和非生理信息耦合在一起影响特征学习的问题，本文提出了基于交叉验证的解耦特征学习方法，通过交叉合成伪样本，然后验证伪样本与原始样本之间的生理及非生理信息的一致性，使得生理及非生理特征编码器所编码的特征相互解耦，更加聚焦。与此同时，利用生理特征编码器所编码的特征可以为无标注人脸视频提供伪生理指标标注，从而可以利用无标注人脸视频来进行模型训练，提高模型的泛化性能。在多个数据集上的实验表明，该方法能有效解耦出人脸视频中的生理信号特征，从而提高生理指标测量的鲁棒性。　　(3)提出了人脸形状无关的面部动作单元特征学习方法。面部动作单元依赖专家进行标注，耗时耗力，因此现有的面部动作单元数据集普遍规模不大，从而导致了特征学习易受人脸形状等个体因素的影响。针对这一问题，本文提出了在特征学习过程中消除人脸形状等无关因素影响的面部动作单元特征学习方法。本文首先利用局部关系学习的方式来实现不同局部区域之间信息的传递，从而获得鲁棒的面部动作单元特征。之后通过引入人脸形状特征来修正面部动作单元预测结果的偏差，实现更加鲁棒的面部动作单元检测。在多个数据集上的实验表明该方法能有效消除人脸个体形状带来的预测结果偏差，从而提高面部动作单元的鲁棒性。　　(4)提出了基于多视角协同正则训练的半监督面部动作单元检测方法。在上一个方法中研究了如何利用小规模有标注数据实现鲁棒的特征学习，与此同时，现实场景中存在着大规模的无标注人脸图像，如何充分挖掘这些图像中的信息来辅助面部动作单元特征的学习具有重要的研究意义。针对这一问题，本文提出了基于多视角协同正则训练的半监督面部动作单元特征学习方法。对于无标注的人脸图像，本文首先利用多个深度卷积网络模型来提取不同视角的特征，并通过多视角损失函数来约束不同视角的特征不相关，然后利用多视角协同正则损失函数来实现多个视角之间特征的相互学习。此外本文还利用图卷积网络来建模不同面部动作单元之间的相关性，实现不同面部动作单元之间的信息传递。在多个数据集上的实验表明该方法能有效利用无标注数据，提升面部动作单元检测的能力。　　上述工作针对面向人脸深层感知的微弱特征分析这一任务中数据少、信号弱等核心挑战，提出了鲁棒的信号表示、解耦特征学习、无关因素消除以及多视角特征学习等方法，实现了半开放场景下，针对人脸生理信号以及面部动作等微弱特征的分析和测量，为构建鲁棒的人脸深层感知系统奠定了的基础。

关键词：人脸深层感知微弱特征生理指标测量面部动作单元检测远程光电容积脉搏波描记法解耦特征学习半监督学习

来源：评论

学校读者我要写书评

暂无评论

从时间特征角度改进rPPG算法

从时间特征角度改进rPPG算法

引用

作者：汪克刚华中师范大学

学位级别：硕士

远程光电容积脉搏波描记法(Remote Photoplethysmography,rPPG)是指通过摄像头等传感器来捕捉由于周期性心动造成皮肤表面颜色周期性微小变化的技术。心率对于监控人的生理和心理状态非常重要,但是通常获取心率需要接触式传感器,而使用r... 详细信息

远程光电容积脉搏波描记法(Remote Photoplethysmography,rPPG)是指通过摄像头等传感器来捕捉由于周期性心动造成皮肤表面颜色周期性微小变化的技术。心率对于监控人的生理和心理状态非常重要,但是通常获取心率需要接触式传感器,而使用rPPG可以在无感知、非接触的情况下检测心动信号。该技术在医疗、交通、教育等领域具有广阔的应用前景。 (1)针对高质量高同步性数据匮乏的问题,本研究采集了一个新的用于远程教育领域的大型数据集RLAP(Remote Learning Affect and Physiologic)。为了采集数据,本研究开发了一个新的开源rPPG数据集采集工具Phys Recorder,它解决了rPPG数据集的视频质量和信号同步性问题。为了验证数据集的高质量和高同步性,本研究设计开发了PhysBench基准测试框架,并用其对现有的多个公开数据集和算法进行了测试。实验结果表明RLAP数据集质量高,可以训练得到性能更强的网络模型。 (2)针对移动设备对模型轻量化的需求,本研究提出了Seq-rPPG算法。该算法的特点是使用一维卷积网络直接从帧序列中还原BVP信号,完全使用时序方法在时间维度建模的rPPG神经网络模型,从而尽量节约了计算开销。实验结果表明,rPPG无需空间维度即可进行建模,并且在心率估计的准确性上与现有基线方法相当,在心率变异性总体标准差(Standard Deviation of NN intervals,SDNN)指标上超越了现有基线方法,但其计算量显著小于其它基线方法。 (3)针对现有rPPG算法设计过程中未对时间特征足够重视的问题,本研究提出了时间规范化方法。该方法在时间维度上对三维视频信号进行规范化,可以用来改进rPPG模型。理论研究和实验结果均表明,该操作具有光照和运动稳定性,可以显著提升rPPG模型在复杂场景下的性能。

关键词：远程光电容积脉搏波描记法远程生理传感情感计算在线学习

来源：评论

学校读者我要写书评

暂无评论

偏振成像在rPPG生理信息检测中的影响研究

偏振成像在rPPG生理信息检测中的影响研究

引用

作者：刘诗红天津工业大学

学位级别：硕士

心率是评估人体健康状态的重要生理指标，长期的心率监测对预防及控制心血管疾病的发生具有重要意义。远程光电容积脉搏波描记法（RemotePhotoplethysmography，rPPG）具有设备简单、成本低、自由度高、测量隐蔽等优点，适合长期心率检... 详细信息

心率是评估人体健康状态的重要生理指标，长期的心率监测对预防及控制心血管疾病的发生具有重要意义。远程光电容积脉搏波描记法（RemotePhotoplethysmography，rPPG）具有设备简单、成本低、自由度高、测量隐蔽等优点，适合长期心率检测，是非接触式心率测量领域的重点研究方向。　　本文以rPPG主要信号源的争论为出发点，从理论层面分析了光与皮肤组织的相互作用，设计搭建了偏振特性检测系统，对成像光束的偏振特性进行分析。在此基础上，编写了非接触式心率测量算法，通过分析成像光束的光强变化得到心率信息，系统性地研究了偏振成像技术对rPPG生理信息检测过程的影响。本文主要工作内容如下：　　1、人体心脏泵血时会导致血管内血液体积发生周期性变化影响光的吸收，同时引起血管管径周期性扩张挤压周围组织光学参数进而影响光的散射，无论吸收还是散射都会影响成像光束的强度，因此成像光束的光强变化中必然含有心率信息。基于此，分析了光与皮肤组织相互作用的过程，得到浅层后向散射光含有光学参数周期性变化信息，深层后向散射光含有血液体积周期性变化信息的结论。偏振成像技术可用于分离深层散射光和浅层散射光，为明确rPPG信号的主要来源提供依据。　　2、成像光束偏振特性的分析。搭建偏振分析系统，采集各个偏振方向下的手掌图像，编写图像处理算法，进行数据拟合，研究成像光束的偏振特性。实验结果表明：（1）掌心区域的拟合效果更为可信，对偏振成像的响应更佳。（2）成像光束偏振角主要由皮肤表面漫反射光的偏振方向决定，同时受到浅层后向散射光偏振方向的影响。（3）皮下动脉血管分布对成像光束的偏振度分布起决定性作用。　　3、实现准确的心率测量。根据rPPG工作原理，在MATLAB平台上实现非接触式心率测量算法，实验结果表明，算法的准确度在93%以上。　　4、研究偏振成像系统对rPPG测量过程的影响。以rPPG信号源的争论出发，重点关注偏振光与皮肤组织相互作用过程中引入的噪声问题，分析硬件参数变化对rPPG信号和噪声强度的影响，明确了rPPG信号的主要来源。

关键词：远程光电容积脉搏波描记法后向散射光偏振特性

来源：评论

学校读者我要写书评

暂无评论

基于面部视频的疼痛识别方法研究

基于面部视频的疼痛识别方法研究

引用

作者：郝颢长春理工大学

学位级别：硕士

疼痛感知在人机互动、智能医疗等方面有着重要的研究意义。脸部表情以其易于观察和丰富的疼痛信息而被广泛使用。但是,由于脸部表情有时具有很强的迷惑性,所以对疼痛的辨识并不能达到客观、真实的效果。由于在疼痛发生时面部表情、生理... 详细信息

疼痛感知在人机互动、智能医疗等方面有着重要的研究意义。脸部表情以其易于观察和丰富的疼痛信息而被广泛使用。但是,由于脸部表情有时具有很强的迷惑性,所以对疼痛的辨识并不能达到客观、真实的效果。由于在疼痛发生时面部表情、生理信号、行为会改变,多模态疼痛识别成为研究热点。目前已有研究提出了将人脸表情与生理信息相结合的方法,但该方法往往需要采用接触式的采集方式,存在一定的局限性。为此,本文采用无接触的方法,从面部视频中提取脉搏波信号,并将其与面部表情特征融合,从而提高疼痛识别的精度和客观性。本文的主要工作如下: (1)为了扩充现有的疼痛数据库,本文建立了受试者为黄种人的疼痛表情数据库。分别在Bio Vid热疼痛数据库和自建数据库上进行了基于面部表情的二分类和三分类任务的研究。结果表明:在Bio Vid疼痛数据库二分类准确率达到78.73%,三分类准确率达到56.36%。在自建疼痛数据库二分类准确率达到80.65%,三分类准确率达到58.32%。 (2)利用远程光电容积脉搏波描记法(Remote Photoplethysmography,r PPG)对面部视频进行脉搏波提取,并采用小波变换、窄带通滤波等方法对其进行去噪处理。在此基础上,计算得到基于脉搏波信号的心率变异性(Heart Rate Variablity,HRV)特征及心率增益。最后利用支持向量机、XGBoost、决策树、K-近邻以及随机森林五种机器学习方法对这些特征进行分类。实验结果证明,在五种分类器中,支持向量机在本文的疼痛识别任务中表现最好,在自建疼痛数据库二分类准确率达到63.37%,三分类准确率达到45.28%。 (3)本文将面部表情支路中C3D网络的全连接层输出的特征向量与非接触生理信号支路筛选出的最具代表性的手工特征进行拼接,对面部表情和r PPG信号进行特征级融合,实现基于多信息融合的疼痛识别。在自建疼痛数据库二分类准确率达到83.31%,三分类准确率达到60.53%,准确率优于单一模态识别结果。最后设计并实现了疼痛识别系统,能够记录疼痛评估视频,并对离线视频进行疼痛评估,该系统对于医疗服务以及疼痛数据库的标注工作具有重要作用。与传统的多模态疼痛识别算法相比,本文提出的基于面部视频信息的多模态疼痛识别算法只需一种数据源就能将人脸表情与生理信息进行有效融合。另外,由于本方法是无接触式的,因此具有较高的实际应用价值。

关键词：疼痛识别远程光电容积脉搏波描记法面部表情特征级融合

来源：评论

学校读者我要写书评

暂无评论

基于嵌入式平台的非接触式心率测量方法研究

基于嵌入式平台的非接触式心率测量方法研究

引用

作者：李伟天津工业大学

学位级别：硕士

心率作为人体健康的重要指标,对于日常生理健康监护和心血管疾病的预防诊断有重大意义。针对传统接触式测量仪器操作复杂,价格昂贵,长期测量容易引起患者皮肤不适的缺点。本文利用远程光电容积脉搏波描记法(Remote Photoplethysmo Graph... 详细信息

心率作为人体健康的重要指标,对于日常生理健康监护和心血管疾病的预防诊断有重大意义。针对传统接触式测量仪器操作复杂,价格昂贵,长期测量容易引起患者皮肤不适的缺点。本文利用远程光电容积脉搏波描记法(Remote Photoplethysmo Graphy,rPPG)和嵌入式视频分析技术相结合,实现低成本、舒适无创、简单便捷的非接触心率监测系统。本文开展基于嵌入式平台的非接触式心率测量方法研究,针对rPPG技术的主要噪声来源结合具体应用场景,开发一套嵌入式心率监测设备。首先深度剖析rPPG的基本原理,以额头和一侧脸颊区域作为采集感兴趣部位(Region of Interest,ROI),在rPPG基本技术框架上运用人脸识别与多信道数据融合的盲源分离方法提高非接触心率监测系统的准确性和鲁棒性,提高在嵌入式平台中的可移植性,并通过仿照日常使用场景搭建实验环境来评估本文算法的性能。根据rPPG测量系统的基本构成,从生理学原理和光学原理出发,构建皮肤后向散射模型,总结血液容积脉搏波(Blood Volume Pulse,BVP)的形成机制和特点,为心率提取算法的选择和优化打下理论基础。并提出评价算法优劣的指标。针对rPPG技术的面临的难点与挑战,本文通过改进关键技术环节以提高整个心率测量系统的性能。首先采用Haar特征的Ada Boost级联分类器进行人脸识别并选取ROI区域,使脸部区域和背景区域分离开。使用灰度平均法提取出ROI内的rPPG信号,然后根据多信道数据融合获取的色度特征提取BVP的初始信号。使用Fast ICA算法分离BVP信号。分析分离信号功率谱的信噪比,确定有效分离分量,选择有效分离分量中峰值最大的点对应的频率即为心率。结果表明,该方法能有效地提取和处理脉冲信号,同时抑制非周期干扰。经过实验证明,本文算法与PPG方法测量出的心率具有良好的一致性。在完成了算法仿真的基础上,本文给出了rPPG心率监测系统的硬件和软件设计。硬件部分包括树莓派4B开发板、USB接口的彩色相机和显示屏。系统软件由视频采集、视频心率信号提取等程序模块构成。为提高信号采集过程中的帧率过低问题,提出多线程采集方案,并设计用户交互界面,实现用户自主测量功能。经过验证该系统性能良好,具有与PC端相同心率检测准确性和鲁棒性,本文的研究成果可以为智慧医疗中的远程监测治疗提供有力的保障。

关键词：远程光电容积脉搏波描记法心率视频分析多信道数据融合树莓派

来源：评论

学校读者我要写书评

暂无评论

面向人脸视频的不确定性心率估计方法研究

面向人脸视频的不确定性心率估计方法研究

引用

作者：许春林上海大学

学位级别：硕士

心率是评估心脏健康状况和人体生理状态的重要指标。目前,临床上主要通过专业脉搏血氧仪或心电图采集器进行心率测量。这类接触式设备容易引起皮肤敏感人群的不适,同时要求专业人员协助操作,在应用方面存在诸多限制。随着居民健康意识... 详细信息

心率是评估心脏健康状况和人体生理状态的重要指标。目前,临床上主要通过专业脉搏血氧仪或心电图采集器进行心率测量。这类接触式设备容易引起皮肤敏感人群的不适,同时要求专业人员协助操作,在应用方面存在诸多限制。随着居民健康意识的提高和远程医疗需求的增长,基于远程光电容积脉搏波描记法(Remote Photoplethysmography,rPPG)的心率检测技术以低成本、无接触等特点展现出广阔的应用前景。该技术旨在采用普通摄像头记录人脸视频并通过分析皮肤变化实现心率估计。然而,人脸携带的rPPG生理信号非常微弱,容易受到头部运动、背景光照和传感器噪声等多个因素的干扰。因此,如何在现有条件下对人脸rPPG信号的空间特征和时序信息进行有效提取,成为了研究人员重点关注的问题。此外,上述干扰还会造成设备记录的rPPG标签偏离真实信号,导致数据集标签具有一定的模糊性,影响模型的泛化能力。针对以上问题,本文从时空建模和不确定性感知两个方面着手,以提高心率估计的准确性为目标展开研究。主要工作内容和研究成果如下:首先,针对传统算法中手工构造的投影子空间表示能力弱的问题,研究了两种基于不同时空表征学习机制的心率估计方法。一种是通过多级二维卷积块从人脸视频中独立抽取帧级空间特征,并使用循环网络从特征序列中学习生理信号的时序依赖关系。另一种是通过多级3D卷积块同时提取视频空间域和时间域的rPPG上下文信息。对比实验结果显示,两种时空表征学习网络的心率估计结果在多个性能指标上优于传统方法,而基于3D卷积的方法比基于卷积循环的两阶段方法具有更低的估计误差。消融实验结果表明,时序信息的融合对提高心率估计的准确性至关重要。其次,针对3D卷积在皮肤RGB微变信息提取过程中时空特征融合不充分的问题,提出了一种基于帧差融合的双路径时空表征学习网络。动态帧差路径通过构造残差帧序列,将皮肤变化信息同时表达在空间维度和时间维度,使得3D卷积能够聚焦变化特征的提取。RGB路径从采样的人脸帧中学习面部纹理、背景光照等空间语义,用于补充帧差计算过程中丢失的静态成分。对于两个路径的输出特征图,采用时空压缩和通道重校准的方式进行充分交互,抑制噪声信息的权重,提高rPPG预测信号的质量。为了应对头部运动、光照变化和传感器噪声等干扰引起的心率标签不确定性,使用参数可学习的高斯分布进行建模,并结合时域趋势监督信号优化网络的学习。实验结果表明,双路径网络相比基线方法可以更准确地实现心率估计。最后,针对rPPG信号真实分布的概率密度函数难以显式计算的问题,进一步放宽高斯假设,提出了一种基于偏差不确定性感知的rPPG心率估计方法。该方法将rPPG信号建模为偏差信号的位置-尺度变换,通过双路径网络输出位置参数和尺度参数,并设计基于堆叠并行耦合层的流模型拟合偏差信号的真实分布,从而更好地解决rPPG标签不确定性的建模问题。为了优化新增网络的训练效率,将偏差分布解耦为先验分布和残差分布,流模型聚焦残差项的学习。在理论方面,证明了所设计的并行堆叠耦合层在传播过程中满足可逆性,推导出其雅可比行列式。实验结果表明,该方法相比基线方法和原始双路径网络具有更低的心率估计误差,并且在MR-NIRP-CAR数据集上显著提高了极端误差抑制能力。

关键词：心率人脸视频远程光电容积脉搏波描记法双路径网络不确定性感知

来源：评论

学校读者我要写书评

暂无评论

基于人脸视频的非接触式心率估计方法及应用

基于人脸视频的非接触式心率估计方法及应用

引用

作者：袁子煜中国石油大学(华东)

学位级别：硕士

心率(HR)是反映人类生理和情绪活动的重要生理信号。传统的心率测量主要基于接触式监护仪,这种监护仪不方便,可能会给受试者带来不适。而基于人脸视频的非接触式心率估计可以有效的改善这个问题,并且在训练辅助、健康监测和护理等许多... 详细信息

心率(HR)是反映人类生理和情绪活动的重要生理信号。传统的心率测量主要基于接触式监护仪,这种监护仪不方便,可能会给受试者带来不适。而基于人脸视频的非接触式心率估计可以有效的改善这个问题,并且在训练辅助、健康监测和护理等许多场景中的潜在应用,因此引起了越来越多的研究关注。以往的方法大多基于理想的人脸特征,在约束较多的实验条件下获取人脸视频,需要面部光照均匀,视频去除背景等,虽然获得了较为理想的实验结果,但与现实世界场景存在很大偏差。在现实场景中光照变化、头部运动和物体遮挡等问题是不可避免的,这就导致视频中人脸定位和特征提取失败,以及心率估计所需的人脸信号不稳定。针对以上问题,本文中提出了两种不同的时空图生成方式来提取视频中的人脸心率信号。同时,设计了心率估计稳定性模块。还引入了通道时空注意力机制。此外,之前的研究很多都是使用情绪分析的数据集进行心率估计,因为贴近真实场景的数据集太少,因此本文针对基于人脸视频的心率估计设计了一种数据增强方法。本文主要研究工作如下: 设计了一种新的时空图生成机制,通过对低质量视频帧片段的等效填充来增强时空特征表示。建立了心率估计稳定性模块来评估人脸信号的质量并为视频片段分配合理的权重,提升心率估计的准确率。在VIPL-HR数据集上测试本文的方法,结果明显优于所有当前最先进的方法。根据均值滤波原理设计了另一种新的时空图生成机制,针对低质量或提取不到人脸的帧使用相邻的帧进行滤波生成,以得到更加平滑的时空图,更加贴近真实心率信号。通道时空注意力机制则更好的捕获通道和空间层面的显著信息,使模型更集中于优质r PPG特征,提高心率估计准确率和鲁棒性。在VIPL-HR数据集上进行的大量实验证明了提出方法的有效性。针对非接触式心率估计数据集过少的问题,提出了一种数据增强方法,由一个人脸视频生成多个r PPG心率信号。实验证明,这种数据增强方法可以有效的提高心率估计模型的准确率。最后,通过软件工程的方法对非接触式心率监测系统进行了设计与实现。

关键词：远程心率估计人脸检测远程光电容积脉搏波描记法卷积注意力端到端学习

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的低照度非接触式心率监测

基于深度学习的低照度非接触式心率监测

引用

作者：王钧渤大连海事大学

学位级别：硕士

随着科技的发展与进步,人们希望可以随时关注自身的心率变化,以此来预防和发现心血管疾病。传统的心率监测设备多为接触式,需随身携带,存在诸多弊端。远程脉搏波描记法凭借其监测舒适性和便捷性的特点,很好地解决了接触式心率监测的弊... 详细信息

随着科技的发展与进步,人们希望可以随时关注自身的心率变化,以此来预防和发现心血管疾病。传统的心率监测设备多为接触式,需随身携带,存在诸多弊端。远程脉搏波描记法凭借其监测舒适性和便捷性的特点,很好地解决了接触式心率监测的弊端。但是,深度学习算法凭借其强大的表征能力和学习能力,已经在各种领域取得了显著成果,将传统的方法所取代,基于深度学习的非接触式心率监测逐渐成为主流方法。低照度环境下采集的视频会有大量噪声加入,影响视频分析获取心率信号。如何解决光照不足的问题,对于推动未来监护领域的发展具有重要意义。(1)针对环境光照不足导致采集到的视频中存在噪声,利用视频亮度增强预处理方案,提高心率监测精度。通过对现有图像/视频亮度处理算法进行实验对比和分析,利用基于ZERO-DCE的低照度增强预处理算法,建立三个颜色调整通道之间的关系,构造损失函数。通过实验对比,经过该方法预处理改善后的视频,对后续的心率监测精度有了较大的提升。(2)为了确保在对视频分析处理后,能够得到时序连贯的r PPG信号,提出了一种基于时空卷积网络的低照度非接触式心率监测方法。时空卷积网络模型采用C3D与R(2+1)D的混合网络结构,更好地获取空间信息与时序信息,保证了信号的连续性。加入注意力机制,对不同的皮肤区域赋予不同的比重,从而获取更准确的r PPG信号。还避免了对单一感兴趣区域监测造成获取特征不完整的问题。采用分区约束,避免模型训练过拟合,提高泛化能力。通过与主流的心率监测模型进行心率监测实验对比,结果表明所提方法与其他主流心率监测方法相比具有一定的优势,拥有较高的心率监测准确度。(3)在日常监测中,受测者与训练数据集样本存在肤色差异,影响心率监测的准确度。收集受测者的数据样本后重新训练模型参数,需耗费大量时间。针对上述问题,提出了一种基于特征迁移的时空卷积网络低照度非接触式心率监测方案。通过对获取r PPG信号的关键信息进行特征迁移,并使用少量新的数据集继续训练,微调整个网络参数。以此来增加获取r PPG信号的关键信息特征权重,降低非关键信息特征的权重。通过对基于特征迁移前后的实验对比,结果表明所提方法能够很好的解决因肤色差异造成心率监测精度偏低的问题。

关键词：非接触式心率监测远程光电容积脉搏波描记法时空卷积网络迁移学习

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：