检索结果-内蒙古大学图书馆

现代情报 2024年

作者：王震宇朱学芳夏思洋刘子溪南京大学信息管理学院

[目的/意义]近年来,随着社交媒体平台的快速发展，多模态命名实体识别（MNER）成为一个备受关注的研究课题。最新研究表明,基于视觉Transformer的视觉语言模型在性能上优于传统的基于目标检测器的方法，但目前尚缺乏对基于视觉语言Trans... 详细信息

[目的/意义]近年来,随着社交媒体平台的快速发展，多模态命名实体识别（MNER）成为一个备受关注的研究课题。最新研究表明,基于视觉Transformer的视觉语言模型在性能上优于传统的基于目标检测器的方法，但目前尚缺乏对基于视觉语言Transformer的MNER模型的系统性研究。[方法/过程]为了解决上述问题，本文提出一种新的端到端框架，旨在深入研究如何设计和训练完全基于Transformer的视觉语言MNER模型。该框架充分考虑了模型设计中的所有关键要素，包括多模态特征提取、多模态融合模块以及解码架构。[结果/结论]实验结果表明，本文模型的表现优于所有基线模型，包括基于大语言模型的方法，并在两个数据集上取得了最佳整体指标。具体而言，该模型在Twitter-2015和Twitter-2017数据集上分别获得了80.06%和94.27%的整体F1分数，相较于目前最先进的视觉语言模型，分别提高了1.34%和3.80%。此外，该模型在跨数据集评估中表现出优于基线模型的出色泛化能力。

关键词：多模态命名实体识别视觉Transformer 多模态融合社交媒体交叉注意力机制

来源：评论

学校读者我要写书评

暂无评论

基于增强异构图融合的多模态医学实体识别研究

引用

现代情报 2024年

作者：韩普李雄南京邮电大学管理学院江苏省数据工程与知识服务重点实验室

[目的/意义]为充分挖掘医学图像与文本间语义关联信息，本文利用增强异构图融合方法提升图像特征表示并进行模态信息交互实现特征融合，进而提升多模态医学实体识别效果。[方法/过程]首先利用RoBERTa和ResNet分别提取医学文本与图像特... 详细信息

[目的/意义]为充分挖掘医学图像与文本间语义关联信息，本文利用增强异构图融合方法提升图像特征表示并进行模态信息交互实现特征融合，进而提升多模态医学实体识别效果。[方法/过程]首先利用RoBERTa和ResNet分别提取医学文本与图像特征，接着通过视觉增强模块捕获图像关键信息并过滤无关噪声，然后构建基于图像与文本节点和对应边的异构图以获取模态间细粒度语义关联，并通过自注意力机制、跨模态门控机制和位置前馈网络实现医学多模态特征融合，最后在中文多模态医学数据集上验证实体识别效果。[结果/结论]所构建的RMGFM模型在中文多模态医学数据集上F1值达到88.99%，相比UMT、AGBAN和UMGF等多模态基线模型的F1值分别提高了5.52%、5.28%和5.08%。实验表明RMGFM模型能有效挖掘医学图像和文本间语义关联信息，在中文多模态医学实体识别任务中表现优异。

关键词：异构图融合视觉增强多模态命名实体识别语义融合医疗健康

来源：评论

学校读者我要写书评

暂无评论

面向社交媒体的多模态实体识别与情感分析研究

面向社交媒体的多模态实体识别与情感分析研究

引用

作者：王洁铭南京理工大学

学位级别：硕士

随着互联网技术的蓬勃发展,社交媒体平台成为被广泛使用的互联网应用之一。用户通过发布包含图像、文本多种形式的帖子表达情感、参与社会话题。面对海量的社交媒体数据,从中分析出用户提及的观点实体及用户表达的情感极性,对于社交媒... 详细信息

随着互联网技术的蓬勃发展,社交媒体平台成为被广泛使用的互联网应用之一。用户通过发布包含图像、文本多种形式的帖子表达情感、参与社会话题。面对海量的社交媒体数据,从中分析出用户提及的观点实体及用户表达的情感极性,对于社交媒体舆情监控等有重要的应用价值。传统的情感分析任务以篇章级或句子级别的分类任务为主,然而在社交媒体数据中,用户表达情感通常是有明确对象的。因此,本文首先研究社交媒体数据中情感对象,即命名实体的抽取;其后研究实体级的多模态情感分析。在此思路下,本研究开展了以下三个工作: (1)提出一个多模态实体级图文匹配数据集,该数据对图像中的实体区域进行标注。完善的图像和文本的实体级标注对于构建多模态知识图谱,进行模态间实体级对齐有重要价值。 (2)提出一个全面的多模态实体识别及视觉定位任务,并设计基于多模态索引生成的框架,实现图像和文本信息的联合抽取。该方法设计使用索引形式,统一表示多种类型的信息,设计多模态索引生成框架实现端到端的命名实体识别与视觉定位。该方法在基准数据集上超越多个基线方法,并通过消融实验和案例分析验证方法的有效性。 (3)通过引入两个图文关系辅助任务来建模实体和图像之间的不同粒度对齐关系,设计基于粗粒度到细粒度图像-实体对齐的多模态实体级情感分析框架。设计粗粒度匹配模块过滤图像噪声;通过细粒度匹配模块进一步识别与实体对齐的区域。该方法在两个多模态实体级情感分析数据集上明显优于其他方法。

关键词：社交媒体多模态命名实体识别实体级情感分析

来源：评论

学校读者我要写书评

暂无评论

CMNER:基于微博的中文多模态实体识别数据集

引用

计算机技术与发展 2024年第10期34卷 110-117页

作者：季源泽李霏武汉大学国家网络安全学院空天信息安全与可信计算教育部重点实验室湖北武汉430072

多模态命名实体识别(MNER)旨在通过相关图像的辅助从文本中定位并分类命名实体。目前,中文多模态命名实体识别研究缺乏相关的人工标注数据,限制了中文多模态命名实体识别的发展。该文旨在构建一个基于社交媒体平台的中文MNER数据集,收集... 详细信息

多模态命名实体识别(MNER)旨在通过相关图像的辅助从文本中定位并分类命名实体。目前,中文多模态命名实体识别研究缺乏相关的人工标注数据,限制了中文多模态命名实体识别的发展。该文旨在构建一个基于社交媒体平台的中文MNER数据集,收集了5000条微博帖子和18326张相应的图像,并人工标注了其中的人名、地名、组织机构名和其他类实体。该文在此数据集上应用了ACN模型和UMT模型进行基线实验。实验结果表明,两个模型的F1值分别达到了74.22%和89.50%,证明了数据集的有效性和可用性。此外,该文还进行了跨语言迁移学习实验,证明了中文和英文MNER数据能够相互补充,增强实体识别模型的性能。为了促进中文多模态命名实体识别的相关研究,该文公开了CMNER数据集和相关代码。

关键词：多模态命名实体识别图像命名实体中文跨语言

来源：评论

学校读者我要写书评

暂无评论

基于多模态和知识蒸馏的教材知识图谱构建方法

引用

计算机科学与探索 2024年第11期18卷 2901-2911页

作者：刘军冷芳玲吴旺旺鲍玉斌东北大学信息化建设与网络安全办公室沈阳110819 东北大学计算机科学与工程学院沈阳110169

为了高效构建教育领域多模态学科知识图谱,提出了基于大模型知识蒸馏和多模型协作推理的教材文本实体关系抽取算法。在模型训练阶段,利用闭源的千亿参数模型对文本数据进行标注,实现隐式知识蒸馏。然后对开源十亿规模参数模型进行领域... 详细信息

为了高效构建教育领域多模态学科知识图谱,提出了基于大模型知识蒸馏和多模型协作推理的教材文本实体关系抽取算法。在模型训练阶段,利用闭源的千亿参数模型对文本数据进行标注,实现隐式知识蒸馏。然后对开源十亿规模参数模型进行领域数据指令微调,提升开源模型实体关系抽取任务的指令遵循能力。在模型推理阶段,闭源模型作为指导模型,开源的十亿规模参数模型作为执行模型。实验结果表明知识蒸馏、多模型协作、领域数据指令微调具有有效性,显著提高了基于指令提示的教材文本实体关系抽取任务的效果。提出了显隐式知识增强的教材示意图多模态命名实体识别算法。利用图像OCR、视觉语言模型等技术提取了教材示意图中的文字信息、全局内容描述信息。通过显式知识库检索增强和隐式LLM提示增强的方法,得到图像-标题对中可能关联的辅助知识,并将显式知识库和隐式LLM得到的知识进一步融合,形成最终的辅助知识。将示意图辅助知识和示意图标题进行拼接,实现教材示意图标题的多模态命名实体识别。实验结果表明,该算法具有先进性,同时增强了算法的可解释性。

关键词：大语言模型学科知识图谱实体关系抽取多模态命名实体识别知识蒸馏

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：