检索结果-内蒙古大学图书馆

软件学报 2025年第4期36卷 1665-1691页

作者：王永胜李培峰王中卿朱巧明苏州大学计算机科学与技术学院江苏苏州215006

多模态信息抽取任务是指从非结构化或半结构化的多模态数据(包含文本和图像等)中提取结构化知识.其研究内容主要包含多模态命名实体识别、多模态实体关系抽取和多模态事件抽取.首先对多模态信息抽取任务进行分析,然后对多模态命名实体... 详细信息

多模态信息抽取任务是指从非结构化或半结构化的多模态数据(包含文本和图像等)中提取结构化知识.其研究内容主要包含多模态命名实体识别、多模态实体关系抽取和多模态事件抽取.首先对多模态信息抽取任务进行分析,然后对多模态命名实体识别、多模态实体关系抽取和多模态事件抽取这3个子任务的共同部分,即多模态表示和融合模块进行归纳和总结.随后梳理上述3个子任务的常用数据集和主流研究方法.最后总结多模态信息抽取的研究趋势并分析该研究存在的问题和挑战,为后续相关研究提供参考.

关键词：多模态信息抽取多模态命名实体识别多模态实体关系抽取

来源：评论

学校读者我要写书评

暂无评论

面向社交媒体的多模态信息抽取方法研究

面向社交媒体的多模态信息抽取方法研究

引用

作者：倪琪慧青岛理工大学

学位级别：硕士

社交媒体平台如微博、推特等如今已成为人们广泛交流的渠道。每天发布的大量帖子包含了发布者的思想和观点,构成了庞大的信息集合。然而,社交媒体信息包括文本、图片等多种模态数据,导致信息抽取面临挑战。此外,社交媒体中的数据较短且... 详细信息

社交媒体平台如微博、推特等如今已成为人们广泛交流的渠道。每天发布的大量帖子包含了发布者的思想和观点,构成了庞大的信息集合。然而,社交媒体信息包括文本、图片等多种模态数据,导致信息抽取面临挑战。此外,社交媒体中的数据较短且缺少上下文语义。传统信息抽取方法仅限于单一模态数据,不能很好地适应社交媒体的多模态特点。因此,通过引入图像信息辅助文本进行信息抽取任务的多模态信息抽取方法研究日益重要。虽然目前多模态信息抽取方法在各个子任务上表现优异,但仍然存在问题:(1)由于社交媒体数据的特点,多模态数据集资源缺乏,特别是多模态关系抽取数据集。(2)模态异质性的影响导致多模态编码器很难建模图像文本之间的交互。(3)模态信息利用方面,当前方法注重如何充分利用图像信息,而忽略了文本中相对位置信息对于信息抽取的重要性。针对上述问题,本文提出了相应的解决方案。主要研究工作如下: (1)针对多模态数据集资源缺乏的问题,本文构建了一种面向微博、推特等社交媒体数据的多模态关系抽取数据集,用于多模态关系抽取任务的模型评估中。首先通过API接口以及爬虫等技术获取语料,并对数据进一步清洗加工。然后使用命名实体识别标注工具,遵循BIO标注方法,标注实体的边界及类型。最后通过受过良好教育的标注工作者进行人工标注,标注实体之间的关系类别。 (2)针对模态异质性问题,本文基于动量对比学习思想将对比学习拓展到多模态领域中,通过对比学习机制对齐文本图像表示,预先降低模态异质性,然后通过多模态融合获得视觉信息引导下的文本信息,有效降低了模态异质性的影响。最终在多模态命名实体识别和多模态关系抽取任务上进行了充分的实验,实验证明了提出方法的有效性。 (3)针对当前多模态信息抽取方法忽略了文本相对位置信息的问题,本文提出了位置增强的多模态信息抽取模型。首先将文本相对位置信息引入到多头自注意力机制中,得到含有位置信息的文本表示。然后将图像表示与文本表示进行交互与融合。最后在模型输出模块中,根据不同的信息抽取任务选择关键位置的信息表示。针对多模态命名实体识别任务,将带有全局信息的“[CLS]”标记的最终隐藏状态与文本中每个词的最终表示进行拼接,将拼接后的结果输入到CRF层进行实体边界和实体类型的预测。针对多模态关系抽取任务,将“[CLS]”标记的最终隐藏状态与头实体、尾实体的最终表示进行加权平均融合,将融合后的结果作为关系预测的最终输入。最终在多模态命名实体识别和多模态关系抽取任务上进行了充分的实验,实验证明了提出方法的有效性。

关键词：社交媒体多模态信息抽取多模态数据集对比学习相对位置编码

来源：评论

学校读者我要写书评

暂无评论

融合图像和文本的多模态信息抽取研究

融合图像和文本的多模态信息抽取研究

引用

作者：凌焱南京理工大学

学位级别：硕士

信息抽取任务是计算机领域自然语言处理方向的重要组成部分,主要用于挖掘文本数据中重要信息如观点,实体关系,事件结构信息等,近年来该领域已经进行了较为丰富的探究。然而如今由于多媒体技术的快速发展,互联网上充斥了大量多模态数据(... 详细信息

信息抽取任务是计算机领域自然语言处理方向的重要组成部分,主要用于挖掘文本数据中重要信息如观点,实体关系,事件结构信息等,近年来该领域已经进行了较为丰富的探究。然而如今由于多媒体技术的快速发展,互联网上充斥了大量多模态数据(例如图像模态和文本模态),于是对多模态数据进行信息抽取成为目前信息抽取领域的重要需求以及研究趋势。多模态信息抽取任务旨在对多模态数据进行信息的挖掘,本文的研究面向该领域中重要的三种任务,分别为多模态观点挖掘、多模态关系抽取以及多模态事件抽取,主要从设计多模态特征交互方式以及增强模型鲁棒性方面开展了以下三个工作: (1)针对多模态观点挖掘任务提出了一个视觉-语言预训练模型并提出了相应的任务特定预训练任务。为了增强图像模态和文本模态特征之间的交互与联系,本文基于BART模型设计了一个接受多模态联合输入的视觉-语言预训练框架。同时为了增强模型对于多模态观点挖掘任务的理解,本文提出了三类任务特定的预训练任务,用于挖掘两个模态中的实体信息和观点信息。实验结果表明,本文提出的预训练模型可以显著提高模型获取双模态中的主客观信息,从而取得了优于其他方法的出色性能。 (2)针对多模态实体关系抽取任务提出了基于图文关系和对比学习的抽取模型。该模型整体基于跨模态注意力交互来进行特征的提取,同时设计了两个辅助任务进行交替训练。一个是实体-区域关系检测任务,用于过滤图像中与当前实体关联较小的噪声特征;另一个是基于对比学习的表征学习任务,使得相似关系类别样本的特征表示靠近,而拉远差异关系类别的样本表示。实验结果表明,该模型超越了目前的最优方法并且证明了本文提出的两个任务的有效性。 (3)针对多模态事件抽取任务提出了面向军事新闻领域的三阶段管道模型。由于事件抽取任务的目标输出为复杂的结构化信息,文本将其拆解成了三个子任务进行分开建模,分别为多模态事件分类,多模态要素抽取以及多模态要素定位,最后使用管道结构将模型进行串联得到最终的结构化输出。同时,由于该任务标注数据较少,本文还使用了一系列的优化策略包括预训练,数据增强,对抗训练,集成学习等来提升模型的鲁棒性。实验表明,本文提出的模型可以有效地进行多模态事件信息的抽取,此外本文同时深层次分析了各个优化策略的有效性。

关键词：多模态信息抽取观点挖掘关系抽取事件抽取深度学习

来源：评论

学校读者我要写书评

暂无评论

面向社交媒体的通用多模态信息抽取方法研究

面向社交媒体的通用多模态信息抽取方法研究

引用

作者：黄世洲东华大学

学位级别：硕士

随着互联网技术的飞速发展,推特、微博等社交媒体成为了很多人日常生活中不可分割的一部分,每天人们会在社交媒体上发布大量帖子来表达自己的见解,这使得社交媒体蕴含着大量的用户生成的内容,成为了一个具有丰富信息的平台。信息抽取则... 详细信息

随着互联网技术的飞速发展,推特、微博等社交媒体成为了很多人日常生活中不可分割的一部分,每天人们会在社交媒体上发布大量帖子来表达自己的见解,这使得社交媒体蕴含着大量的用户生成的内容,成为了一个具有丰富信息的平台。信息抽取则是能从社交媒体帖子中挖掘出事件、观点、群体和个人的偏好等信息的关键步骤。然而,由于社交媒体中的文本通常较短,可能会存在因为语义不足而产生的歧义问题,这导致传统的基于文本的信息抽取方法在社交媒体领域表现不佳。与此同时,用户为了更好地表达自己的想法会积极地在帖子中加入图像,使得同时考虑文本和图像信息的多模态信息抽取方法涌现了出来,其通过额外引入图像信息补充语义来消除文本存在的歧义,有效地提升了基于文本的信息抽取方法的表现,已经成为了信息抽取领域中的一个重要方向。然而,目前的多模态信息抽取方法主要研究如何进行模态之间的交互以及如何表示图像信息,仍然存在以下三个问题,包括(1)在模态匹配方面,当前方法认为图像信息一定能够帮助文本,忽略了图像文本存在不匹配的问题;(2)在模态对齐方面,当前方法使用两个不同的编码器来分别获得图像和文本的表示,忽略了图像文本表示不一致的问题;(3)在模态表示方面,当前方法只使用一种类型的图像编码器获得图像表示,忽略了图像信息没有被充分利用的问题。针对上述问题,本文研究了通用的多模态信息抽取方法。该方法可适用于各种多模态信息抽取任务。具体来说,本文以多模态命名实体识别和多模态关系抽取这两个典型的多模态信息抽取任务为例展开研究。主要贡献如下:(1)针对图像文本表示不一致以及图像文本之间存在不匹配的问题,本文提出了一种基于对比学习的通用多模态信息抽取框架。该框架通过对比学习的方法将文本和图像的表示进行对齐,解决了图像文本表示不一致的问题。此外,该框架还通过自监督学习的方式训练了一个图像文本匹配判断器来预测图像和文本匹配的概率,进而使用这个概率来确定保留图像信息的比例,解决了图像文本存在不匹配的问题。本文通过实验和样例分析证明了该框架的有效性。(2)针对图像文本之间存在不匹配的问题,本文又提出了一种基于强化学习的多模态信息抽取模型选择框架。该框架通过强化学习的方法训练了一个数据鉴别器来自动判断数据是适合使用单模态模型还是多模态模型进行信息抽取,通过将数据输入给对应的模型,解决了图像文本之间存在不匹配的问题。实验结果证明了该框架的有效性以及该框架适用于各种单模态和多模态信息抽取模型。(3)针对图像信息没有被充分利用的问题,本文提出了一种基于视觉提示学习的通用多模态信息抽取框架。该框架能够将不同的图像表示融合在一起,并基于提示学习的方式将融合的结果和文本进行交互,解决了图像信息没有被充分利用的问题。实验结果证明了该框架的有效性,同时本文通过消融实验和样例分析证明了使用多种不同类型的图像表示能够有效提升模型的表现。

关键词：多模态信息抽取对比学习强化学习提示学习

来源：评论

学校读者我要写书评

暂无评论

医疗多模态信息抽取技术评测数据集概述

引用

医学信息学杂志 2022年第12期43卷 1-5,22页

作者：宗辉雷健波李作峰夏静波陈漠沙王晓玲常德杰康波李姣汤步洲同济大学上海200092 北京大学医学信息学中心北京100091 武田中国创新孵化器上海200126 华中农业大学信息学院武汉430070 阿里巴巴杭州310000 华东师范大学上海200062 北京环球医疗救援北京100020 医渡云(北京)技术有限公司北京100191 中国医学科学院/北京协和医学院医学信息研究所北京100020 哈尔滨工业大学(深圳)鹏城实验室深圳518055

阐述医疗多模态信息抽取技术评测数据集的结构、构建方法、应用情况等,包括面向“基因-疾病”的关联语义挖掘数据集、中文医疗因果关系抽取数据集、医疗文本诊疗决策树抽取数据集、医疗材料要素提取数据集、临床诊断编码数据集,提出上... 详细信息

阐述医疗多模态信息抽取技术评测数据集的结构、构建方法、应用情况等,包括面向“基因-疾病”的关联语义挖掘数据集、中文医疗因果关系抽取数据集、医疗文本诊疗决策树抽取数据集、医疗材料要素提取数据集、临床诊断编码数据集,提出上述数据集有望为各种技术、算法以及系统的评估和实施提供有力支撑和参考。

关键词：中国健康信息处理会议多模态信息抽取医学数据集人工智能自然语言处理

来源：评论

学校读者我要写书评

暂无评论

人工智能在进馆档案数字化成果质检中的应用

引用

浙江档案 2025年第1期 46-48+60页

作者：陆慧杭州市档案馆

在进馆档案数字化成果质检工作中，采用传统的简单计算机程序粗检验和人工抽查细检验的模式无法有效保障质量，且进度缓慢影响档案接收进馆。杭州市档案馆采用“OCR+NLP”方法构建基于人工智能的档案质检模型，结合基于版面分析的OCR、... 详细信息

在进馆档案数字化成果质检工作中，采用传统的简单计算机程序粗检验和人工抽查细检验的模式无法有效保障质量，且进度缓慢影响档案接收进馆。杭州市档案馆采用“OCR+NLP”方法构建基于人工智能的档案质检模型，结合基于版面分析的OCR、多模态信息抽取、档案著录知识库等技术，实现了节省人工、提升工作效率和提高质检质量的目的，打通了档案接收进馆的堵点。

关键词：人工智能档案质检 OCR 多模态信息抽取档案接收进馆

来源：评论

学校读者我要写书评

暂无评论

基于多模态信息融合的语音意图理解方法

引用

中国科技论文在线 2011年第7期6卷 495-500页

作者：郑彬彬贾珈蔡莲红清华大学计算机科学与技术系北京100084

为从语音中获取包括字面含义和说话人情绪状态在内的全面意图信息,提出了一种基于多模态信息融合的语音意图理解方法,并对其中的关键词抽取、命令解析、基于文本/韵律特征的情绪状态检测以及多模态信息融合等关键算法进行了设计。该方... 详细信息

为从语音中获取包括字面含义和说话人情绪状态在内的全面意图信息,提出了一种基于多模态信息融合的语音意图理解方法,并对其中的关键词抽取、命令解析、基于文本/韵律特征的情绪状态检测以及多模态信息融合等关键算法进行了设计。该方法从识别文本和语音信号中抽取不同模态的信息并进行融合,能够有效地从语音中获取丰富的意图信息,有助于建立自然的人机交互环境。

关键词：语音意图理解多模态信息抽取多模态信息融合

来源：评论

学校读者我要写书评

暂无评论

面向中文电子病历的多模态知识图谱构建方法研究

引用

图书情报工作 2024年第23期68卷 30-40页

作者：韩普陈文祺叶东宇南京邮电大学管理学院南京210003 江苏省数据工程与知识服务重点实验室南京210023

[目的/意义]为了对结构复杂、专业性强的多模态电子病历数据进行深度序化和组织,基于多模态深度学习和自然语言处理方法构建面向中文电子病历的多模态知识图谱,进而为临床决策支持和领域知识服务提供更全面地支撑。[方法/过程]首先对多... 详细信息

[目的/意义]为了对结构复杂、专业性强的多模态电子病历数据进行深度序化和组织,基于多模态深度学习和自然语言处理方法构建面向中文电子病历的多模态知识图谱,进而为临床决策支持和领域知识服务提供更全面地支撑。[方法/过程]首先对多模态数据进行预处理以构建多模态电子病历数据集;接着利用ResNet和BERT预训练模型分别提取医学图像和文本特征;然后基于多层级视觉提示机制的多模态融合方法构建多模态实体关系联合抽取模型;最后使用图数据库存储并可视化呈现电子病历中不同模态知识。[结果/结论]构建面向中文电子病历的多模态知识图谱,进一步丰富该领域文本和图像模态知识关联,推进多模态知识组织的实践范畴,为医疗健康领域知识序化、精准知识服务和深度知识发现奠定基础。

关键词：多模态知识图谱多模态信息抽取电子病历知识组织

来源：评论

学校读者我要写书评

暂无评论

基于多模态信息融合的语音意图理解研究

引用

软件 2011年第5期32卷 6-10页

作者：郑彬彬贾珈蔡莲红清华大学计算机科学与技术系北京100084

为从语音中获取包括字面含义和说话人情绪状态在内的全面意图信息,提出了一种基于多模态信息融合的语音意图理解方法,并对其中的关键词抽取、命令解析、基于文本/韵律特征的情绪状态检测以及多模态信息融合等关键算法进行了设计.该方法... 详细信息

为从语音中获取包括字面含义和说话人情绪状态在内的全面意图信息,提出了一种基于多模态信息融合的语音意图理解方法,并对其中的关键词抽取、命令解析、基于文本/韵律特征的情绪状态检测以及多模态信息融合等关键算法进行了设计.该方法从识别文本和语音信号中抽取不同模态的信息并进行融合,能够有效地从语音中获取丰富的意图信息,有助于建立自然的人机交互环境.

关键词：语音意图理解多模态信息抽取多模态信息融合

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：