检索结果-内蒙古大学图书馆

计算机学报 2025年

作者：陈公冠刘慧李恒泰郭强张彩明山东财经大学计算机与人工智能学院山东省数字经济轻量智算与可视化重点实验室(济南) 山东大学软件学院

通过图像文本对的联合学习，多模态预训练大模型在各种视觉任务中展现出巨大的潜力，比如在高质量数据集匮乏的医学领域。然而，现有的模态匹配式预训练方法通常使用全局匹配的方式，易受到低质量信息的干扰。尽管少量研究开始关注局部... 详细信息

通过图像文本对的联合学习，多模态预训练大模型在各种视觉任务中展现出巨大的潜力，比如在高质量数据集匮乏的医学领域。然而，现有的模态匹配式预训练方法通常使用全局匹配的方式，易受到低质量信息的干扰。尽管少量研究开始关注局部匹配，但这些方法仅仅通过简单的池化操作来缩小匹配范围，忽略了跨模态重要对象之间的内在关系以及跨样本对之间同语义表征的获取。鉴于此，本文在多模态大模型的预训练过程中，提出了一种基于图神经网络的消息传递机制，对多模态数据特征进行节点化和子图化，从而将跨模态的匹配方式由全局匹配转变为子图匹配，减少低质量信息的干扰。同时，利用交叉注意力在单一模态内进行子图级别的差异化处理，使其在跨模态学习中建立更细致的关联和语义理解。此外，提出高维空间的样本对聚类方法，以减少多模态大模型对相同语义的无关联错误表达。在涵盖图像分类、病灶区域目标检测和语义分割任务的七个医学图像数据集上进行了大量实验，验证了本文所提出模型的可行性和优越性能。同时在表情识别任务中进行实验，验证了本文模型的泛化性能。

关键词：多模态预训练大模型局部匹配子图匹配无关联错误聚类

来源：评论

学校读者我要写书评

暂无评论

渐进特征提取和频域信息补充的多模态医学图像融合

引用

中国图象图形学报 2025年第5期 1510-1527页

作者：李夫辰高珊珊刘峥张彩明周元峰山东财经大学计算机科学与技术学院山东省数字经济轻量智算与可视化重点实验室山东省中美数字媒体国际合作研究中心山东大学软件学院山东省未来智能计算协同创新中心

目的如何充分保留各模态独有特征的细节以及有效整合模态间共有特征是多模态医学图像融合领域亟待突破的共性问题。目前常用的双分支图像编码方法存在对模态间相互依赖、相互关联的共有特征信息交互方式不够完善、过程不够充分的问题... 详细信息

目的如何充分保留各模态独有特征的细节以及有效整合模态间共有特征是多模态医学图像融合领域亟待突破的共性问题。目前常用的双分支图像编码方法存在对模态间相互依赖、相互关联的共有特征信息交互方式不够完善、过程不够充分的问题，影响了多模态成像间特征相关性的建立。对此，设计了基于渐进特征提取、频域信息补充以及Swin Transformer结合卷积神经网络（convolutional neural network,CNN）重建的多尺度医学图像融合网络。方法首先，设计基于梯度信息引导的多尺度特征提取模块，渐进式提取图像的共有特征以及不同模态的独有特征；然后，结合交叉注意力设计渐进式融合模块，实现不同模态间的空域信息交互增强，以及频域高低频位置信息引导的针对性的多模态信息融合；最后，设计Swin-CNN重建模块，建立医学图像全局和局部区域相应特征之间的联系。结果在3个公开融合数据集进行实验，在MRI-SPECT(magnetic resonance imaging-single photon emission computed tomography)和MRI-PET(magnetic resonance imaging-positron emission tomography)融合任务中，与8种最先进方法相比，视觉融合任务评价指标均取得最优，相比性能第2的模型，互信息（mutual information,MI）分别提高4.42%和17.30%，离散余弦特征互信息（discrete cosine transform feature mutual information,FMIdct）分别提高5.17%和11%。在GFP-PC(green fluorescent protein-phase contrast)融合任务中，取得6项最优和2项次优，相比性能第2的模型，MI和VIF(visual information fidelity)分别提高16.43%和16.87%。结论提出的融合模型通过三分支架构的共同和独有特征提取能力，充分挖掘不同模态图像特征并渐进式整合多尺度信息，利用结合交叉注意力的渐进融合模块引导模型针对性地融合高低频特征，在重建过程中同时关注医学图像全局和局部的属性信息，有效提高了多模态医学图像融合的质量。

关键词：多模态医学图像融合多尺度渐进式提取融合频域信息引导全局—局部重建

来源：评论

学校读者我要写书评

暂无评论

语义微调和跨模态检索增强的中文医学报告生成

引用

中国图象图形学报 2025年第5期 1286-1302页

作者：李恒泰刘慧陈公冠闫子申盛玉瑞张彩明山东财经大学计算机与人工智能学院山东省数字经济轻量智算与可视化重点实验室(山东财经大学) 山东第一医科大学第一附属医院放射科山东大学软件学院

目的医学报告生成旨在根据医学影像生成准确的诊断结果，以减轻医生负担、提高临床工作效率。然而，中文医学报告生成在准确理解医学影像及规范描述医学报告方面仍存在局限，并存在幻觉问题。为应对上述挑战，提出一种基于语义微调和... 详细信息

目的医学报告生成旨在根据医学影像生成准确的诊断结果，以减轻医生负担、提高临床工作效率。然而，中文医学报告生成在准确理解医学影像及规范描述医学报告方面仍存在局限，并存在幻觉问题。为应对上述挑战，提出一种基于语义微调和跨模态检索增强的中文医学报告生成模型FRCM。方法基于多模态大模型LLaVA，对其视觉编码器和大语言模型进行领域适配与微调，并提出一种通用数据与垂域数据协同训练策略：利用通用数据提高模型对复杂指令的理解能力，利用垂域数据使模型具备医学图像—文本对齐能力及专业的中文医学报告生成能力。在推理阶段，提出一种新的跨模态检索增强策略，利用引导知识有效缓解模型的幻觉问题，进一步提高模型生成医学报告的准确性和鲁棒性。结果在中文数据集MIMIC-CXR上，与XrayGLM和XrayPULSE模型相比，FRCM在双语评估替代指标BLEU-n的BLEU-1、BLEU-2、BLEU-3、BLEU-4、基于最长公共子序列的召回率指标ROUGE-L、显式顺序翻译评价指标METEOR和基于共识的图像描述评估指标CIDEr这7个指标上分别提升了10.4%、10.1%、9.7%、9.1%、6.6%、9.4%和38.4%。与LLaVA和Qwen-VL上微调过的模型相比，FRCM在BLEU-1、BLEU-2、BLEU-3、BLEU-4和CIDEr这5个指标上的得分分别提升了4.1%、3.1%、3.3%、3.6%和25.1%。消融实验结果表明，FRCM使用的训练方法和关键组件能够有效提升模型的性能。实验通过3个案例分析，进一步证明FRCM生成的中文医学报告在准确性和信息丰富度上优于对比模型。结论本文通过设计多模态大模型训练与推理策略，综合了语义微调和检索增强的优点，生成了更加详细且准确的中文医学报告。

关键词：中文医学报告生成多模态大模型(LMM) 检索增强语义微调知识引导

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：