检索结果-内蒙古大学图书馆

基于语义关系的多Agent多模态表示规划

引用

计算机工程 1999年第10期25卷 12-13,16页

作者：郭元博吴青粟中国科技大学计算机系合肥230027 北方交通大学通信控制系

介绍了一个用于多模态表示规划的多Ａｇｅｎｔ系统。为了显示被表示对象之间的语义关系，表示规划需满足一定的约束。阐述了多Ａｇｅｎｔ合作进行规划的机制，重点论述了约束的传播以及动态修改。

关键词：多模态表示多Agent系统语义关系人工智能

来源：评论

学校读者我要写书评

暂无评论

深度多模态表示学习的研究综述

引用

计算机工程与应用 2023年第2期59卷 48-64页

作者：潘梦竹李千目邱天南京理工大学计算机科学与工程学院南京210094

尽管深度学习因为强大的非线性表示能力已广泛应用于许多领域,多源异构模态数据间结构和语义上的鸿沟严重阻碍了后续深度学习模型的应用。虽然已经有许多学者提出了大量的表示学习方法以探索不同模态间的相关性和互补性,并提高深度学习... 详细信息

尽管深度学习因为强大的非线性表示能力已广泛应用于许多领域,多源异构模态数据间结构和语义上的鸿沟严重阻碍了后续深度学习模型的应用。虽然已经有许多学者提出了大量的表示学习方法以探索不同模态间的相关性和互补性,并提高深度学习预测和泛化性能。然而,多模态表示学习研究还处于初级阶段,依然存在许多科学问题尚需解决。迄今为止,多模态表示学习仍缺乏统一的认知,多模态表示学习研究的体系结构和评价指标尚不完全明确。根据不同模态的特征结构、语义信息和表示能力,从表示融合和表示对齐两个角度研究和分析了深度多模态表示学习的进展,并对现有研究工作进行了系统的总结和科学的分类。同时,解析了代表性框架和模型的基本结构、应用场景和关键问题,分析了深度多模态表示学习的理论基础和最新发展,并且指出了多模态表示学习研究当前面临的挑战和今后的发展趋势,以进一步推动深度多模态表示学习的发展和应用。

关键词：多模态表示深度学习多模态融合多模态对齐

来源：评论

学校读者我要写书评

暂无评论

基于多模态表示学习的情感分析框架

引用

计算机科学 2022年第S02期49卷 631-636页

作者：胡新荣陈志恒刘军平彭涛叶鹏朱强纺织服装智能化湖北省工程研究中心武汉430200 湖北省服装信息化工程技术研究中心武汉430200 武汉纺织大学计算机与人工智能学院武汉430200

在多模态表示对整体损失的学习过程中,重构损失对模型的依赖性相对较小,导致隐含表示无法有效捕捉它们各自模态的细节。文中提出了一个基于多模态表示学习的多子空间情感分析框架。首先将每个模态投射到模态不变和模态特定两种不同的话... 详细信息

在多模态表示对整体损失的学习过程中,重构损失对模型的依赖性相对较小,导致隐含表示无法有效捕捉它们各自模态的细节。文中提出了一个基于多模态表示学习的多子空间情感分析框架。首先将每个模态投射到模态不变和模态特定两种不同的话语表示中,在模态不变表示中构建主共享子空间以及帮助该子空间减少模态差距的辅助共享子空间,在模态特定表示中构建私有子空间以捕获每个模态独有的特征,将所有子空间中的隐藏向量作为解码函数的输入并重构模态向量,以实现对重构损失的优化。然后,在融合阶段对每个模态表示执行基于Transformer的自注意力,使每个表示能从对整体情感取向具有协同作用的其他跨模态表示中获取潜在信息。最后,通过串联生成联合向量并利用全连接层生成任务预测。在两个公开数据集MOSI和MOSEI上的实验结果表明,该框架在大多数评价指标上都优于基线模型。

关键词：多模态表示情感分析 Transformer 自注意力跨模态

来源：评论

学校读者我要写书评

暂无评论

基于多模态表示的同义标签集推断研究

基于多模态表示的同义标签集推断研究

引用

作者：陈光北京邮电大学

学位级别：硕士

多模态同义标签集推断任务旨在利用图文模态信息来挖掘具有相同语义的标签集合,对于基于多模态数据的下游应用有着重要的基础性作用。然而,面向图文多模态数据的同义标签集推断的研究由于可用数据资源少、图文数据存在噪声等问题,导致... 详细信息

多模态同义标签集推断任务旨在利用图文模态信息来挖掘具有相同语义的标签集合,对于基于多模态数据的下游应用有着重要的基础性作用。然而,面向图文多模态数据的同义标签集推断的研究由于可用数据资源少、图文数据存在噪声等问题,导致了该项研究的进展缓慢。因此,本文开展如下的研究工作:一、鉴于目前的图文数据存在噪声等问题,本文提出了多模态编码器TrimSyn模型来学习多模态表示。在TrimSyn模型中,视觉文本表示组件通过非局部注意力机制来提升视觉表示的关联性;基于模态交互的掩码机制利用图文模态交互的结果来过滤图文模态中的噪声;门控组件负责根据图文模态对于概念语义的贡献对视觉文本表示进行融合并产生相应的多模态表示。二、针对社交媒体上图文数据规模极端不平衡的特点,本文提出了非对称多模态编码器A-TrimSyn模型。除了继承非局部注意力机制外,本文设计了多粒度文本表示,通过不同的词向量训练方式增强文本表示的能力。此外,本文设计了用于过滤图像集合中噪声的非对称掩码组件。为应用以上两个模型,本文提出三元神经网络框架,使用三元损失来进一步学习TrimSyn与A-TrimSyn的模型参数。根据学习的多模态表示使用聚类方法,获得同义标签集合。三、为验证模型的有效性,本文构建了多模态同义标签数据MMAI-Synset。本文基于文本同义标签集从社交媒体上获取相应的图像与标签数据并构建了大规模的多模态同义标签数据集。再者,本文使用基于信息熵的聚类评价指标、基于排列的聚类评价指标、及基于聚类结果相似性等三类评测指标评估了提出方法的有效性。最后,本文针对TrimSyn与A-TrimSyn两种编码器模型中的各个组件进行了有效性分析,结合同义标签集推断结果进行定性分析,从而进一步验证了提出方法的有效性。

关键词：深度学习掩码机制门控机制多模态表示同义标签集推断

来源：评论

学校读者我要写书评

暂无评论

基于异质集成学习的多模态表示的研究

基于异质集成学习的多模态表示的研究

引用

作者：王俊杰东北林业大学

学位级别：硕士

随着社会产能的飞速增加,人类进入了信息爆炸的人工智能时代。电商、医疗、交通、物流等具有庞大体量的行业产生了丰富的数据,这引发了数据的时代革命。数据和算法是计算机引领的信息化时代的根本,同时也是作为人工智能核心技术的机器... 详细信息

随着社会产能的飞速增加,人类进入了信息爆炸的人工智能时代。电商、医疗、交通、物流等具有庞大体量的行业产生了丰富的数据,这引发了数据的时代革命。数据和算法是计算机引领的信息化时代的根本,同时也是作为人工智能核心技术的机器学习和深度学习的基石。本文从机器学习和深度学习出发,主要针对传统机器学习中的异质集成学习以及深度学习中多模态表示的图像描述任务为研究点,主要研究内容如下:堆叠泛化(Stacking)有着与生俱来的高复杂性、“数据泄露”的问题,同时针对不同的数据样本也存在稳定性方面的问题。对此本文提出基于敏感哈希的堆叠算法(LSH-BAG-DAG-Stacking,LBDS),其利用局部敏感哈希(local sensitive hashing,LSH)算法将训练集和测试集映射到哈希桶,当其中某个桶满时作为开始训练条件,训练出的模型对下一次桶满时的训练数据和测试数据及其邻域进行预测,利用稳定性和信息熵条件对基分类器筛选,生成高层数据,最后将高层训练预测得到的结果通过混合投票和平均的方法求得最终分类结果。在若干数据集上验证结果显示,LBDS表现出了更好的稳定性和更强的泛化能力。现在的大多数图像描述模型是平庸普通的,不能根据不同的用户知识经验主动生成其以关注对象为焦点的描述。在这项工作中,本文提出了具有主体意识的异质注意力图像描述(Subjective Consciousness and Heterogeneous Attention,SCHA)结构表示用户“知识经验”,并控制生成的描述内容以及详细程度。SCHA中具有主体意识的先验知识图包含一个由对象、属性、关系三种节点组成的有向图,它从图像抽象而来,没有对应的具体语义。SCHA能够洞悉用户的“知识经验”,从而根据相对应的知识图结构中生成所需的描述。SCHA通过获取不同角度的场景图信息作为“先验知识”,显著提高了描述的层次,同时实现了比在MSCOCO和VisualGenome数据集上精心设计的基线模型更优的精确性和丰富性。最后设计验证算法的仿真系统,系统运行稳定,能够实现算法模型的推理结果,达到了预期的目标,对相关算法类仿真系统的开发和设计有着一定的指导意义。

关键词：异质堆叠集成学习图像描述多模态表示

来源：评论

学校读者我要写书评

暂无评论

基于知识图谱嵌入的复杂推理和多模态表示方法研究与实现

基于知识图谱嵌入的复杂推理和多模态表示方法研究与实现

引用

作者：汪凯北京邮电大学

学位级别：硕士

将人类知识与人工智能相结合是学术界一直探索的方向之一,也是增强人工智能算法解决复杂问题的必要手段。知识图谱对人类知识进行精炼,通过嵌入技术赋能后续的算法应用。现阶段知识图谱场景下的复杂问题主要包括越来越复杂的查询问题和... 详细信息

将人类知识与人工智能相结合是学术界一直探索的方向之一,也是增强人工智能算法解决复杂问题的必要手段。知识图谱对人类知识进行精炼,通过嵌入技术赋能后续的算法应用。现阶段知识图谱场景下的复杂问题主要包括越来越复杂的查询问题和越来越广泛的数据模态。如何在传统知识图谱嵌入的研究基础上处理复杂查询问题和多模态场景成为业界和学术界关心的重点。目前针对知识图谱嵌入的研究集中在如何更好的建模知识三元组,只具备在单一模态的简单推理能力,难以适应于如知识图谱复杂推理、多模态知识图谱表示等关键问题。本课题针对基于知识图谱嵌入的复杂推理问题和多模态表示问题进行了研究,主要内容如下:针对基于知识图谱嵌入的知识图谱复杂推理问题,本文提出了SignalE算法。传统知识图谱嵌入形式无法很好的处理逻辑非操作的问题,SignalE提出了一种新的嵌入形式-离散信号嵌入,以处理完整的一阶逻辑查询问题。在同一维度下,离散信号嵌入具有可以相互转化的时域表示和频域表示。基于频域表示,关系投影操作被从神经网络简化为平移操作,逻辑非操作通过翻转频域表示的虚部来建模逻辑语义取反。在多个基准数据集上的实验结果表明,本课题提出的SignalE算法不仅在预测性能上超过了众多基线模型,并且模型参数规模降低,训练速度取得大幅度提升。针对多模态知识图谱表示研究问题,本文提出了 MPKGAC算法,并将其应用于多模态知识图谱补全任务。现有的多模态知识图谱补全方法侧重于使用文本或视觉模态的特征来增强结构化知识表示,但对于多模态信息的交互和利用并不充分,并且忽略了知识模态、文本模态以及视觉模态的独立性。本课题提出基于三流机制的多模态知识图谱表示方法,独立建模知识、文本、图像三种模态,并通过定向的前缀注意力机制和模态间令牌级别的相似度矩阵来控制多模态信息的交互过程。多模态综合解码器被提出用于充分利用模态的互补信息以增益预测性能。与基线模型相比,MPKGAC在各项指标上均取得了最好的预测性能。此外,MPKGAC在实际电商场景中应用于多模态商品属性值补全,具备了一定的实际应用能力。针对知识图谱技术赋能高等教育场景,本文进行了工程实践。针对高等教育阶段,围绕电子信息类学科构建了基于“知识粒度”的学科知识图谱本体,开发了知识图谱智能搜索及可视化网站,通过图谱可视化、图谱漫游、知识定位、知识关联等功能,用户可以更加直观、快速的浏览学科知识体系和更加准确的定位目标知识点,从图片、公式、讲解视频、百科等多种模态来理解知识点。此外,将上述复杂推理算法在学科知识图谱平台进行了具体实践,支撑平台具备复杂问题检索能力。整个系统为学生用户提供了多种多样的知识搜索和可视化功能,使高等教育教育阶段的学生主动把握学科知识体系。

关键词：知识图谱嵌入复杂推理多模态表示

来源：评论

学校读者我要写书评

暂无评论

联合多模态表示的人脸识别方法研究

引用

电子设计工程 2021年第24期29卷 175-178,183页

作者：张杜娟陈飞丁莉西安医学院卫生管理学院陕西西安710021

针对人脸图像识别问题,提出联合多模态表示的方法。采用二维经验模态分解(BEMD)对人脸图像进行分解,获得多层次二维内蕴模函数(BIMF),作为人脸的多模态表示。在分类阶段,采用多任务压缩感知模型(MTCS)对多层次BIMF进行表征,求解不同BIM... 详细信息

针对人脸图像识别问题,提出联合多模态表示的方法。采用二维经验模态分解(BEMD)对人脸图像进行分解,获得多层次二维内蕴模函数(BIMF),作为人脸的多模态表示。在分类阶段,采用多任务压缩感知模型(MTCS)对多层次BIMF进行表征,求解不同BIMF的稀疏系数矢量,进而计算不同类别对于当前测试样本的重构误差,根据重构误差判断样本所属类别。通过在ORL和Yale-B人脸图像数据集上开展实验,所提方法平均识别率分别达到75.42%和94.07%,且对噪声干扰具有良好的稳健性。

关键词：人脸识别二维经验模态分解多模态表示多任务压缩感知

来源：评论

学校读者我要写书评

暂无评论

不完整多模态的表示方法研究

不完整多模态的表示方法研究

引用

作者：兰桂林中国科学技术大学

学位级别：硕士

随着数据收集技术的进步,人类可获得的多模态数据日益增多。不同模态数据的信息可以相互补充,为事物提供更全面和更准确的描述。多模态表示学习方法的研究可以有效整合不同模态的信息,进而提升模型对任务的理解和执行能力,其在情感分析... 详细信息

随着数据收集技术的进步,人类可获得的多模态数据日益增多。不同模态数据的信息可以相互补充,为事物提供更全面和更准确的描述。多模态表示学习方法的研究可以有效整合不同模态的信息,进而提升模型对任务的理解和执行能力,其在情感分析、医疗健康和自动驾驶等多个领域的应用已经受到了广泛关注。然而,在实际场景中,多模态数据常常因为数据采集的限制、隐私保护的需求、成本控制的考虑等因素而存在模态缺失的问题。现有的多模态表示方法大多数基于模态完整的假设,当面对模态缺失的情况时,这些方法的性能往往会显著下降,甚至完全失效。尽管已有一些研究致力于解决模态缺失问题,但现有方法仍存在以下不足:(1)这些方法学习的多模态表示对于相关任务的鲁棒性不足。它们要么忽略了缺失模态的语义信息;要么在共享子空间中混合了与任务无关的信息。(2)这些方法主要关注于特定的模态缺失场景,例如仅测试阶段缺失或单一模态缺失。然而,在实际应用中,训练和测试阶段均可能遇到任意模态数据的缺失,这表明现有方法缺乏处理一般性场景的普适性。针对上述问题,本文研究了不完整多模态的表示方法,以提升模型在模态缺失场景中的鲁棒性。具体内容如下: (1)针对测试阶段存在的模态缺失问题,本研究以脑肿瘤分割任务为背景,提出了一种基于特征解耦的不完整多模态脑肿瘤分割方法。首先,我们采用跨模态Transformer捕获不同模态间的相关性,并学习它们的共享特征。同时,引入了缺失模态的索引嵌入,将模型的注意力引导到缺失模态。然后,我们提出了一种预训练微调策略,该策略可以利用权重共享的解码器对模态共享特征进行隐式解耦。在预训练阶段,我们通过对完整模态特征的随机子集进行掩码和重建完整模态,学习跨模态的全局语义特征。在微调阶段,我们使用与预训练阶段权重共享的解码器,并结合分割任务的损失函数对模型进行微调,以最大化地解耦与任务相关的信息。实验结果表明,我们的方法在各种模态缺失场景下的性能均优于对比方法。 (2)本研究考虑了一个更为普遍的模态缺失场景,即在训练和测试阶段均可能存在不确定的模态缺失。为了解决这个更为普适的场景,我们将不同模态的特征投影到一个共享子空间,并通过该子空间重建缺失模态的特征,实现了在统一模型框架下处理任意模态缺失类型的能力。然后,我们利用交叉注意力机制增强重建的缺失模态。此外,我们还提出了一种迭代训练策略,旨在充分利用完整模态和缺失模态的数据,进一步提升模型在高缺失率情形下的性能。在多个数据集上的实验结果表明,相较于对比方法,我们的方法展现出更优越的性能,尤其是在高缺失率的情况下。此外,我们的方法还提升了模型对不确定模态缺失场景的适用性。

关键词：多模态表示不完整多模态不确定缺失共享子空间

来源：评论

学校读者我要写书评

暂无评论

基于样本内外协同表示和自适应融合的多模态学习方法

引用

计算机研究与发展 2024年第5期61卷 1310-1324页

作者：黄学坚马廷淮王根生江西财经大学虚拟现实(VR)现代产业学院南昌330013 南京信息工程大学计算机学院南京210044 江西财经大学信息管理学院南昌330013

多模态机器学习是一种新的人工智能范式,结合各种模态和智能处理算法以实现更高的性能.多模态表示和多模态融合是多模态机器学习的2个关键任务.目前,多模态表示方法很少考虑样本间的协同,导致特征表示缺乏鲁棒性,大部分多模态特征融合... 详细信息

多模态机器学习是一种新的人工智能范式,结合各种模态和智能处理算法以实现更高的性能.多模态表示和多模态融合是多模态机器学习的2个关键任务.目前,多模态表示方法很少考虑样本间的协同,导致特征表示缺乏鲁棒性,大部分多模态特征融合方法对噪声数据敏感.因此,在多模态表示方面,为了充分学习模态内和模态间的交互,提升特征表示的鲁棒性,提出一种基于样本内和样本间多模态协同的表示方法.首先,分别基于预训练的BERT,Wav2vec 2.0,Faster R-CNN提取文本特征、语音特征和视觉特征;其次,针对多模态数据的互补性和一致性,构建模态特定和模态共用2类编码器,分别学习模态特有和共享2种特征表示;然后,利用中心矩差异和正交性构建样本内协同损失函数,采用对比学习构建样本间协同损失函数;最后,基于样本内协同误差、样本间协同误差和样本重构误差设计表示学习函数.在多模态融合方面,针对每种模态可能在不同时刻表现出不同作用类型和不同级别的噪声,设计一种基于注意力机制和门控神经网络的自适应的多模态特征融合方法.在多模态意图识别数据集MIntRec和情感数据集CMU-MOSI,CMU-MOSEI上的实验结果表明,该多模态学习方法在多个评价指标上优于基线方法.

关键词：多模态表示多模态融合多模态学习协同表示自适应融合

来源：评论

学校读者我要写书评

暂无评论

结合多模态时尚兼容性建模和个人风格引导的服装搭配推荐（英文）

引用

Journal of Donghua University(English Edition) 2025年第02期 156-167页

作者：汪可欣张洁张朋孙可芯占家美魏濛东华大学计算机科学与技术学院东华大学人工智能研究院东华大学机械工程学院东华大学信息科学与技术学院

个性化服装搭配推荐已经成为时尚领域的一个研究热点。然而，现有的推荐方法尚未充分挖掘用户风格偏好。通常情况下，用户在选择服装时，不仅会倾向于特定风格，如休闲风格或运动风格，还会关注服装的颜色、质地等细节特征。为了推荐符... 详细信息

个性化服装搭配推荐已经成为时尚领域的一个研究热点。然而，现有的推荐方法尚未充分挖掘用户风格偏好。通常情况下，用户在选择服装时，不仅会倾向于特定风格，如休闲风格或运动风格，还会关注服装的颜色、质地等细节特征。为了推荐符合用户风格偏好的个性化服装搭配，该文提出了一种结合多模态时尚兼容性建模和个人风格引导的服装搭配推荐方法，简称PSGNet。首先，设计一个风格分类器，将不同服装类型和属性的时尚图像划分到不同的风格类别中；其次，建立个人风格预测模块，通过分析历史数据提取用户风格偏好；再次，为了克服单模态表示的局限性并增强时尚兼容性，利用时尚图像和文本数据来同时提取服装的多模态特征；最后，通过贝叶斯个性化排序(Bayesian personalized ranking, BPR)算法来整合这些模块以统一个人风格和时尚兼容性，其中个人风格特征可引导输出推荐结果，为每位目标用户提供量身定制的个性化服装搭配推荐。在大规模数据集上进行广泛实验。结果表明，该文所提出的方法可有效推荐个性化服装搭配。

关键词：个性化服装搭配推荐时尚兼容性建模风格偏好多模态表示贝叶斯个性化排序风格分类器

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：