检索结果-内蒙古大学图书馆

作者：李浩然中国科学院大学(中国科学院深圳先进技术研究院)

学位级别：硕士

作为最常见的原发性肿瘤之一,脑胶质瘤可以被划分为多个不同的组织亚区域,由于磁共振图像具有多参数、无创、高软组织对比度等特点,临床上利用多模态磁共振影像对肿瘤组织进行区域分割对于患者早期诊断、手术计划和预后都有重要价值。... 详细信息

作为最常见的原发性肿瘤之一,脑胶质瘤可以被划分为多个不同的组织亚区域,由于磁共振图像具有多参数、无创、高软组织对比度等特点,临床上利用多模态磁共振影像对肿瘤组织进行区域分割对于患者早期诊断、手术计划和预后都有重要价值。脑肿瘤不同的组织区域在多模态磁共振影像中形状复杂,人工分割成本较高,依据多模态磁共振影像对肿瘤区域进行精准的自动分割一直都是非常有挑战性的一项工作。目前深度学习已经在磁共振影像脑肿瘤自动分割任务上取得了一些鼓舞人心的结果。然而,这些方法的性能往往高度依赖于磁共振影像的模态的完整性。实际应用中不同的成像方案、数据的存储不当和患者身体条件限制等因素都会造成多模态数据的缺失,这会使得部署的深度学习分割模型的表现低于预期。针对以上问题,本文结合深度学习理论对基于模态缺失磁共振影像的脑肿瘤分割任务展开研究,主要工作如下: 1.本文基于知识蒸馏技术提出了一种能够适应多种磁共振模态缺失场景的脑肿瘤分割方法。该方法采用了“教师-学生”的网络结构设计,并通过伯努利采样过程模拟模态缺失场景从而生成学生网络的训练样本;此外,我们在完整磁共振模态预训练的教师网络和待训练学生网络之间设计了深度监督损失来约束蒸馏训练过程。在开源数据集上的实验结果表明,该方法在多种模态缺失场景下相比于对比算法都取得了更好的平均分割性能表现。 2.本文考虑到不同模态磁共振数据对于脑肿瘤亚区域存在敏感性差异,利用“编码-解码”网络结构和注意力机制构建了一种能够适应磁共振模态严重缺失场景的脑肿瘤分割方法。该方法对多模态数据进行模态独立编码提取特征,通过设置正则解码器来监督网络对分割判别特征的捕获。特别地,我们在各个解码层级中嵌入设计的基于注意力机制的特征融合模块,这使得网络能够筛选和融合对于各分割区域敏感的模态特征。在开源数据集上的结果表明,该方法在仅有单模态磁共振数据可用的条件下也能够实现对肿瘤不同子区域边界的预测。

关键词：磁共振图像模态缺失脑肿瘤分割深度学习

来源：评论

学校读者我要写书评

暂无评论

面向MRI模态缺失的脑胶质瘤分割算法研究

面向MRI模态缺失的脑胶质瘤分割算法研究

引用

作者：熊枫华东师范大学

学位级别：硕士

脑胶质瘤起源于脑部胶质细胞,是最常见的原发性脑肿瘤类型之一,它的恶性程度很高,需要及时诊断与治疗。通常,基于磁共振图像的脑胶质瘤自动分割是治疗脑胶质瘤疾病至关重要的一步,是辅助医生进行临床诊断和制定手术方案的重要参考。随... 详细信息

脑胶质瘤起源于脑部胶质细胞,是最常见的原发性脑肿瘤类型之一,它的恶性程度很高,需要及时诊断与治疗。通常,基于磁共振图像的脑胶质瘤自动分割是治疗脑胶质瘤疾病至关重要的一步,是辅助医生进行临床诊断和制定手术方案的重要参考。随着深度学习技术的快速发展,越来越多的脑胶质瘤自动分割算法被提出。由于多种磁共振图像模态可以提供有关人脑组织的互补信息,因此大多数分割算法融合多种磁共振图像模态,用于训练模型。理论上,联合使用多种磁共振图像模态可以提高脑胶质瘤分割算法的精度,然而,在单中心与多中心场景下,都有可能出现磁共振图像模态缺失问题,从而无法提升模型的性能。具体而言,单中心场景下,推断期间可能会因为扫描仪损坏或受限、患者对某些造影剂过敏等因素导致部分模态的缺失,从而影响模型分割的效果。而在多中心场景下,由于要考虑数据隐私问题,因此每个中心可能在训练期间就无法收集到全套完整的多模态数据用于训练,导致无法提升模型的性能。针对以上问题,本文提出了基于广义知识蒸馏的脑胶质瘤分割算法和基于联邦学习的脑胶质瘤分割算法,前者利用训练时期的多模态数据来应对推断期间的模态缺失问题,而后者则是提出新的联邦学习训练策略来提升多中心场景下每个中心的模型性能。本文的具体工作如下:1)针对单中心场景下的MRI模态缺失问题,本文着力于研究推断期间只有一种模态可以使用这一最具有挑战的情况,提出了一种新颖的具有“教师-学生”架构的广义知识蒸馏框架,该框架通过两种知识蒸馏策略,即分割图蒸馏策略与级联区域关注蒸馏策略,将多模态教师模型中额外的模态知识转移到单模态学生模型中去,提高单模态学生模型的分割性能。具体来说,分割图蒸馏策略鼓励学生模型模仿教师模型的软化输出,而级联区域关注蒸馏策略则是鼓励学生模型探索和学习教师模型多个卷积层上的区域特征信息,从而提升学生模型的性能,解决单中心场景下的模态缺失问题。2)针对多中心场景下的MRI模态缺失问题,本文引入了多中心场景常用的联邦学习训练框架,避免数据隐私安全问题。同时,本文提出了新的联邦学习策略,利用个性化层来解决不同中心拥有不同模态种类数量的问题,并引入互学习知识蒸馏策略来为每个中心带来额外的模态知识,辅助每个中心的模型训练,从而提升每个中心的模型性能,解决多中心场景下的模态缺失问题。3)此外,为了探索本文所提出的算法的工程价值,本文实现了面向脑胶质瘤分割的联邦学习系统。该系统有联邦训练与图像分割两大功能。联邦训练着重于模拟多中心脑胶质瘤分割的联邦学习训练过程,满足实验条件有限的医学研究者的日常研究需求。图像分割则集成了本文提出的算法模型,帮助医生进行日常分割,提升医生的诊断效率。本文设计了大量实验验证了所提出的算法,证明了本文算法的有效性和鲁棒性。此外,本文对设计的系统进行了相关功能测试,证明了系统的功能完整性。

关键词：脑胶质瘤图像分割模态缺失医疗图像分割知识蒸馏联邦学习

来源：评论

学校读者我要写书评

暂无评论

国际中文教育微课制作的模态缺失及改进方案

引用

汉字文化 2023年第2期 96-98页

作者：刘禹冰北京理工大学外国语学院 102488

国际中文教育智慧化受到了学界的日益关注,各类软件的出现影响了国际中文教育的教学方式。目前,国际中文教育智慧化包含慕课、微课、翻转课堂等教学模式。微课教学模式以其短小简便、灵活高效且重点突出的特点备受广大师生的关注与喜爱... 详细信息

国际中文教育智慧化受到了学界的日益关注,各类软件的出现影响了国际中文教育的教学方式。目前,国际中文教育智慧化包含慕课、微课、翻转课堂等教学模式。微课教学模式以其短小简便、灵活高效且重点突出的特点备受广大师生的关注与喜爱。然而,在微课制作过程中,听觉、视觉、触觉、嗅觉等模态存在缺失的情况。为了解决这一问题,我们可以通过“物理突显”,增加“称呼语”,游戏互动,表情管理等改进方案提升学生学习效率并提升微课教学效果。

关键词：国际中文教育微课模态缺失改进

来源：评论

学校读者我要写书评

暂无评论

面向模态缺失图像分类的改进联邦学习

面向模态缺失图像分类的改进联邦学习

引用

作者：汪鑫豪中国矿业大学

学位级别：硕士

近年来,机器学习在图像分类领域中取得了巨大突破,并在人脸识别、医学图像识别、遥感图像分类等相关领域取得了成功应用。但对于含有模态缺失情况,即未在训练样本中出现过的图像模态的图像分类,相关研究成果及应用还待进一步深入研究。... 详细信息

近年来,机器学习在图像分类领域中取得了巨大突破,并在人脸识别、医学图像识别、遥感图像分类等相关领域取得了成功应用。但对于含有模态缺失情况,即未在训练样本中出现过的图像模态的图像分类,相关研究成果及应用还待进一步深入研究。通过迁移共享知识或者数据,可有效改善模态缺失图像分类的精度,但是,此时还需考虑数据隐私安全。谷歌公司2017年提出的联邦学习(Federated Learning,FL)框架,不仅能有效保护数据,且能在一定程度上解决局部模态缺失图像分类,但是其存在通信成本高昂、数据分布不平衡导致的低精度等缺点,且经典的FL框架尚未考虑全局模态缺失图像分类问题。鉴于此,本文研究模态缺失图像分类的改进联邦学习,主要内容如下:(1)局部模态缺失图像分类的LDA隐特征提取改进联邦学习:在联邦学习中,考虑客户端无法识别其他客户端的图像类别,从而导致的局部模态缺失问题,针对数据分布不平衡、非独立同分布等特性,提出了基于LDA隐特征提取的低通讯代价改进联邦学习。基于客户端数据,构建客户端图像分类模型,并提取具有不同模态的图像类别特征;将各客户端分类模型参数和类别特征同时上传至服务器端,设计基于LDA的服务器端特征融合机制,有效减少通讯代价;将服务器端更新的模型参数和特征同时用于更新客户端信息,实现客户端模态特征的迁移和知识共享,提高非平衡分布下局部模态缺失图像分类的精度;设计了MNIST、CIFAR-10标准图像数据集的模态缺失图像分类数据库,用以验证所提算法的有效性。(2)全局模态缺失图像分类的跨模态零样本融合联邦学习:在联邦学习中,考虑全局外缺失模态的图像分类识别,即客户端无法识别全局外的新图像类别,在内容(1)的基础上,进一步研究融合跨模态零样本策略的改进联邦学习。首先,将跨模态迁移中的反向深度嵌入模型和联邦学习进行融合,提出了零样本联邦学习框架;然后,基于联邦学习策略,研究反向深度嵌入模型中,组合网络层数对模态缺失图像分类精度的影响,确定表现性能最好的网络层数;最后,将零样本学习标准数据集应用于增强后的联邦学习框架,并与当前主流的零样本学习算法进行比较,结果表明所提算法框架能在保护用户隐私安全的前提下有效提升全局模态缺失图像分类的精度。该论文有图26幅,表14个,参考文献104篇。

关键词：图像分类模态缺失联邦学习 LDA 零样本学习

来源：评论

学校读者我要写书评

暂无评论

模态信息缺失情况下的多模态情感识别方法

模态信息缺失情况下的多模态情感识别方法

引用

作者：孙灵慧山东师范大学

学位级别：硕士

多模态情感识别是情感计算等领域的研究热点之一,其主要目标是整合多模态信息,更好识别人类的情感状态。然而在现实应用中,多模态特征常会受到环境噪声、传感器故障等因素影响,出现不确定的模态数据缺失情况。因此,如何有效地处理多模... 详细信息

多模态情感识别是情感计算等领域的研究热点之一,其主要目标是整合多模态信息,更好识别人类的情感状态。然而在现实应用中,多模态特征常会受到环境噪声、传感器故障等因素影响,出现不确定的模态数据缺失情况。因此,如何有效地处理多模态情感识别中的模态缺失问题,已成为多模态情感识别研究的重要挑战。针对模态缺失问题,研究者展开了广泛研究,提出了一些有效解决方案。但是面向实际应用场景,仍然面临诸多挑战,可以概括总结为三项挑战性问题,即在模态缺失情况下,如何有效地考虑情绪动态性和数据不平衡性;在模态缺失情况下,如何充分利用可用模态的信息,并尽可能减少因缺失信息补齐而引入的额外噪声;在模态缺失情况下,如何降低生成模态与缺失模态之间的语义歧义。为了提升情感识别模型性能,针对模态缺失条件下多模态情感识别的三项挑战性问题,采用文献分析、实验验证等方法,分别引用级联编码器-解码器网络、深度图卷积网络和条件变分自编码器等技术,研究工作主要分为多模态融合和缺失模态重构两部分。融合部分充分挖掘所选网络的优势,扬长避短,旨在充分利用模态低阶特征的相关性信息,同时学习不同模态之间的深层潜在相关性。缺失模态重构部分旨在捕获多模态数据的局部和全局信息,并利用上下文信息完成缺失模态的重建。所作研究工作获得三个方面的研究结果和研究结论,以及研究创新之处。模态缺失情况下,如何有效地考虑情绪动态性和数据不平衡性的问题,是多模态情感识别中的挑战性问题。针对这个问题,提出一种提出能够适应于不同比例模态缺失条件的鲁棒多模态情感识别网络。模型具体分为两个模块:第一个模块是基于卷积神经网络和Transformer的级联残差Encoder-Decoder架构,用于捕获多模态数据的局部和全局信息,并利用上下文信息完成缺失模态的重建;第二个模块是门控注意力融合模块,可提高模型对噪声、不同模态的平衡鲁棒性。模型在IEMOCAP和MSP-IMPROV两个数据集上,取得了具有竞争力的结果,有效提高了在部分模态信息缺失情况下的情感识别能力。模态缺失情况下,如何充分利用模态特有信息并避免噪声引入的问题,也是多模态情感识别中的挑战性问题。针对这个问题,提出一种基于图卷积网络的解决模态缺失的多模态情感识别模型。模型利用高斯混合模型处理缺失数据,并将缺失特征处理和图学习集成到同一个神经网络架构中,以减少缺失特征的影响。同时引入时间信息和说话者信息,用于保持相邻语义的相关性和不同说话者的独特性。并且设计单模态信息作为多模态融合的补充,获得不同模态之间的共有信息和每种模态的特有信息,从而有效促进性能提升。模型在IEMOCAP和MELD两个数据集上,都表现出显著的性能优势。模态缺失情况下,如何降低生成模态与缺失模态之间的语义歧义,同样是多模态情感识别中的挑战性问题。针对这个问题,提出一种基于变分自编码器网络的解决模态缺失的多模态情感识别模型。为了恢复缺失的模态,利用基于Transformer的变分自编码器模型,将输入映射到模态的潜在空间中,并根据原始分布恢复缺失数据。为了减少缺失模态和恢复模态之间的语义歧义,将可用模态嵌入作为指导和改进缺失模态恢复过程的条件。模型在MOSEI和MOSI两个数据集上,取得了良好的生成一致性和高生成质量。

关键词：多模态情感识别模态缺失编解码网络图卷积网络变分自编码器

来源：评论

学校读者我要写书评

暂无评论

基于图学习的缺失脑网络生成及多模态融合诊断方法

引用

数据采集与处理 2024年第4期39卷 843-862页

作者：龚荣芳黄麟雅朱旗李胜荣南京航空航天大学数学学院南京211106 飞行器数学建模与高性能计算工信部重点实验室南京211106 南京航空航天大学人工智能学院南京211106 脑机智能技术教育部重点实验室南京211106

融合大脑结构和功能网络的多模态脑网络能够挖掘不同模态间的互补信息,有效提高癫痫等神经系统疾病的诊断准确率,在神经疾病诊断上具有优势。然而,由于多模态数据采集时间长、成本高,在实际应用中常面临模态缺失问题,导致可用数据量减少... 详细信息

融合大脑结构和功能网络的多模态脑网络能够挖掘不同模态间的互补信息,有效提高癫痫等神经系统疾病的诊断准确率,在神经疾病诊断上具有优势。然而,由于多模态数据采集时间长、成本高,在实际应用中常面临模态缺失问题,导致可用数据量减少,模型的诊断精度和泛化能力下降。针对某一模态数据完全缺失问题,提出了基于图学习与循环一致生成对抗网络(Cycle-consistent generative adversarial networks,CycleGAN)的图CycleGAN方法。该方法通过引入图卷积神经网络与图注意力机制等图学习方法捕捉脑网络不同脑区间的特征信息,强化生成框架对图形式脑网络的特征提取能力,实现脑结构网络与功能网络的相互生成。此外,针对目前较少利用诊断结果评估生成数据质量的情况,提出了一种融合真实脑网络与生成脑网络的多模态融合分类模型,以进一步评估生成脑网络的有效性。在癫痫数据集上的实验结果表明,图CycleGAN方法能够有效利用已有的模态信息,实现缺失脑网络的生成。

关键词：脑网络模态缺失图学习生成对抗网络模态补全癫痫诊断

来源：评论

学校读者我要写书评

暂无评论

兼容缺失模态推理的情感识别方法

引用

计算机应用 2024年

作者：殷兵凌震华林垠奚昌凤刘颖科大讯飞股份有限公司中国科学技术大学电子工程与信息科学学院中国科学技术大学自动化学院

针对真实复杂场景下模态缺失带来的模型兼容性问题，提出一种支持任意模态输入的情感识别方法。首先，在预训练和精调阶段，采用模态随机丢弃的训练策略保证模型在推理阶段的兼容性；其次，分别提出时空掩码策略和基于跨模态注意力机制... 详细信息

针对真实复杂场景下模态缺失带来的模型兼容性问题，提出一种支持任意模态输入的情感识别方法。首先，在预训练和精调阶段，采用模态随机丢弃的训练策略保证模型在推理阶段的兼容性；其次，分别提出时空掩码策略和基于跨模态注意力机制的特征融合机制，以减少模型过拟合的风险并提高模型跨模态特征融合的效果；最后，为了解决多种模态情感标签不一致带来的噪声标签问题，提出一种基于多原型聚类的自适应去噪策略，该策略为多种模态分别设置类中心，通过对比每种模态特征对应的聚类类别与其标签的一致性来去除噪声标签。在自建数据集上的实验结果表明，所提模型相比基线在WAR指标上，模态对齐推理提升6.98个百分点，视频缺失推理提升4.09个百分点，音频缺失推理提升33.05个百分点。与现有方法在视频公开数据集DFEW上对比，所提模型也取得了最高的WAR指标，达到了68.94%。

关键词：情绪识别多模态模态缺失预训练深度学习

来源：评论

学校读者我要写书评

暂无评论

多模态MRI脑肿瘤分割方法的特征融合技术综述

引用

计算机工程与应用 2024年第23期60卷 28-48页

作者：刘海超宋丽娟宁夏大学信息工程学院银川750021 宁夏“东数西算”人工智能与信息安全重点实验室银川750021 宁夏大数据与人工智能省部共建协同创新中心银川750021

随着人工智能技术的快速发展,脑肿瘤分割在提高临床诊断、研究和治疗的准确性和效率方面取得了显著进展。多模态医疗图像分割正在成为当前脑肿瘤分割研究的热点和趋势,这是因为多模态医学图像可以提供更加全面和详尽的信息,增强了脑肿... 详细信息

随着人工智能技术的快速发展,脑肿瘤分割在提高临床诊断、研究和治疗的准确性和效率方面取得了显著进展。多模态医疗图像分割正在成为当前脑肿瘤分割研究的热点和趋势,这是因为多模态医学图像可以提供更加全面和详尽的信息,增强了脑肿瘤分割算法的可行性和可靠性。然而,多模态数据的使用也面临着一系列的问题和挑战。模态特征在进行融合时可能无法充分利用,导致模态间信息遗漏和不均衡;模态之间的差异过大,可能会产生干扰和误导算法的表现。而且,模态缺失也是一个常见的问题,使多模态方法的效果进一步降低。因此,旨在研究医疗图像多模态融合方法,以帮助新研究者探索未来多模态脑肿瘤分割的方向。该研究的重点在于探讨在脑肿瘤分割中多模态数据的特征融合方法,并根据融合数据的抽象层次对各种方法进行分类。通过研究不同的融合算法和模型,希望能够解决脑肿瘤多模态数据融合的困难和挑战,提高脑肿瘤分割的准确性与可靠性,为脑肿瘤的诊断与治疗提供更好的支持。

关键词：脑肿瘤分割多模态早期融合晚期融合多级别融合模态缺失

来源：评论

学校读者我要写书评

暂无评论

基于特征解耦与融合的不完全多模态骨肿瘤图像分类

引用

南方医科大学学报 2025年

作者：曾青海李传璞阳维宋丽文赵英华杨谊南方医科大学生物医学工程学院广东省医学图像处理重点实验室南方医科大学第三附属医院放射科

目的提出了一种基于特征解耦与融合的骨肿瘤分类模型，用于合理处理模态缺失并融合多模态信息，以提升分类准确率。方法设计解耦补全模块，先提取包含已有模态的局部与全局信息的骨肿瘤图像特征，再将该特征分解为共享特征和特定特征... 详细信息

目的提出了一种基于特征解耦与融合的骨肿瘤分类模型，用于合理处理模态缺失并融合多模态信息，以提升分类准确率。方法设计解耦补全模块，先提取包含已有模态的局部与全局信息的骨肿瘤图像特征，再将该特征分解为共享特征和特定特征。利用共享特征作为缺失模态特征的补全表示，从而减少因模态差异带来的补全偏差。考虑到模态差异可能会使多模态信息难以融合，采用基于交叉注意力机制的融合模块。提升模型学习跨模态信息的能力并对特定特征进行充分融合，从而提高骨肿瘤分类的准确性。结果实验采用在南方医科大学第三附属医院收集的骨肿瘤数据集进行训练和测试。在7种可用模态组合中，本文方法中骨肿瘤分类的平均AUC、准确率、特异性分别为0.766、0.621、0.793，与现有的模态缺失处理方法相比分别提高了2.6%、3.5%、1.7%。全模态情况下骨肿瘤分类效果最佳，AUC为0.837；仅有MRI模态时AUC仍能达到0.826。结论本文方法能合理地处理模态缺失并有效融合多模态信息，在多种复杂的缺失情境下表现出良好的骨肿瘤分类性能。

关键词：骨肿瘤分类多模态图像模态缺失特征解耦注意力融合

来源：评论

学校读者我要写书评

暂无评论

基于自适应融合技术的多模态实体对齐模型

引用

计算机应用研究 2025年第1期42卷 100-105页

作者：任楚岚于振坤关超井立志沈阳化工大学计算机科学与技术学院沈阳110142 辽宁省化工过程工业智能化技术重点实验室沈阳110142

多模态实体对齐旨在识别由结构三元组和与实体相关的图像组成的不同的多模态知识图谱之间的等价实体。现有的多模态实体对齐的研究主要集中在多模态融合策略,忽略了模态缺失和不同模态难以融合的问题,未能充分利用多模态信息。为了解决... 详细信息

多模态实体对齐旨在识别由结构三元组和与实体相关的图像组成的不同的多模态知识图谱之间的等价实体。现有的多模态实体对齐的研究主要集中在多模态融合策略,忽略了模态缺失和不同模态难以融合的问题,未能充分利用多模态信息。为了解决上述问题,提出了MACEA模型,该模型使用多模态变分自编码方法主动补全缺失的模态信息,动态模态融合方法整合不同模态的信息并相互补充,模态间对比学习方法对模态间进行建模,这些方法有效解决了模态缺失与模态难以融合的问题。相比于当前基线模型,MACEA的hits@1和MRR指标分别提升了5.72%和6.78%,实验结果表明,该方法可以有效地识别出对齐实体对,具有较高的准确性和实用性。

关键词：实体对齐知识图谱多模态动态融合模态缺失

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：