检索结果-内蒙古大学图书馆

作者：吴伟玲华中科技大学

学位级别：硕士

近年来,对比学习(Contrastive Learning)在大规模无标注数据上的预训练模型得到了广泛的应用(如车道检测、人脸识别等)。然而,其面临的安全和隐私问题也越来越引起学者的关注。本文聚焦于多模态对比学习中的投毒攻击(Poisoning Attack)... 详细信息

近年来,对比学习(Contrastive Learning)在大规模无标注数据上的预训练模型得到了广泛的应用(如车道检测、人脸识别等)。然而,其面临的安全和隐私问题也越来越引起学者的关注。本文聚焦于多模态对比学习中的投毒攻击(Poisoning Attack),该攻击将精心构造的数据注入训练集,达到改变目标模型行为的目的。本文将从特定目标的图像投毒攻击、文本投毒攻击和多模态数据投毒攻击三个角度分别对模型微调时数据所面临的安全风险展开研究,主要工作和创新点包括: (1)针对现有对比学习中的投毒攻击依赖于对投毒数据标签的修改而极易被检测的问题,本文提出了一种基于图像编码器的特定目标的清洁标签投毒攻击Image Interpolation Attack(Image Interp)。现有的投毒攻击在特征空间中的插值方式只适用于迁移学习场景,因而本文通过在像素空间上使用线性插值的投毒方式,使用更少的投毒样本进行多模态对比学习中的特定目标投毒攻击。本文所提攻击无需修改数据标签,同时能够保证投毒数据的扰动不易被发现,从而保证攻击的隐蔽性。 (2)针对现有针对对比学习的工作仅关注图像编码器的问题,本文提出了一种针对对比学习模型文本编码器的目标投毒攻击Text Antagonistic Perturbation Attack(Text Advert)。本文在保证人类对文本的认知的情况下,通过对基类样本做出字符级的更改快速高效生成符合目标特征的投毒文本,引入文本信息之后带来的文本歧义性导致模型将目标错误分类,迫使目标模型在黑盒设置下做出错误的预测。 (3)针对现有的攻击主要关注文本或图像编码器,没有充分利用文本或者图像相关的其他模态信息的问题,本文提出了一种同时对文本与图像编码器投毒的目标投毒攻击Double-End Interpolation Attack(DE-Interp)。本文基于Beta分布的生成器自动生成透明度,根据透明度生成添加水印后的样本,计算该样本与目标样本之间的欧式距离得到该透明度下采集的样本数,然后通过特定的优化算法生成投毒样本。相对于现有的最佳方案,本文所提攻击使用更低的投毒率,同时能够保持模型准确性。

关键词：多模态对比学习目标投毒攻击图像编码器文本编码器多模态信息

来源：评论

学校读者我要写书评

暂无评论

基于对比学习的视觉增强多模态命名实体识别

引用

计算机科学 2024年第6期51卷 198-205页

作者：于碧辉谭淑月魏靖烜孙林壮卜立平赵艺曼中国科学院大学北京100049 中国科学院沈阳计算技术研究所沈阳110168

多模态命名实体识别(MNER)的目的是在给定的图像-文本对中检测实体范围并将其分类为相应的实体类型。尽管现存的MNER方法取得了成功,但它们都集中在使用图像编码器提取视觉特征后,不做增强或过滤处理,直接送入跨模态交互机制。此外,由... 详细信息

多模态命名实体识别(MNER)的目的是在给定的图像-文本对中检测实体范围并将其分类为相应的实体类型。尽管现存的MNER方法取得了成功,但它们都集中在使用图像编码器提取视觉特征后,不做增强或过滤处理,直接送入跨模态交互机制。此外,由于文本和图像的表示来自不同的编码器,很难弥合两种模态之间的语义鸿沟,因此,提出了一个基于对比学习的视觉增强多模态命名实体识别模型(MCLAug)。首先,使用ResNet收集图像特征,在此基础上提出金字塔双向融合策略,将低层次高分辨率和高层次强语义的图像信息结合起来,以增强视觉特征。其次,利用CLIP模型中的多模态对比学习思想,计算并最小化对比损失,使两种模态的表示更加一致。最后,利用跨模态注意力机制和门控融合机制获得融合后的图像和文本表示,并通过CRF解码器来执行MNER任务。在两个公开数据集上进行了对比实验并进行消融研究和案例研究,结果证明了所提模型的有效性。

关键词：多模态命名实体识别 CLIP 多模态对比学习特征金字塔 Transformer 门控融合机制

来源：评论

学校读者我要写书评

暂无评论

基于一对多关系的多模态虚假新闻检测

引用

中文信息学报 2023年第9期37卷 131-139页

作者：袁玥刘永彬欧阳纯萍田纹龙方文泷南华大学计算机学院湖南衡阳421001

面向多模态的虚假新闻检测工作大部分是利用文本和图片之间的一对一关系,将文本特征和图片特征进行简单融合,忽略了帖子内多张图片内容的有效特征,对帖子间的语义关联建模不足。为了克服现有方法的局限性,该文提出了一种基于文图一对多... 详细信息

面向多模态的虚假新闻检测工作大部分是利用文本和图片之间的一对一关系,将文本特征和图片特征进行简单融合,忽略了帖子内多张图片内容的有效特征,对帖子间的语义关联建模不足。为了克服现有方法的局限性,该文提出了一种基于文图一对多关系的多模态虚假新闻检测模型。利用跨模态注意力网络筛选多张图片的有效特征,通过多模态对比学习网络动态调整帖子间高层次的语义特征关联,增强融合图文特征的联合表示。在新浪微博数据集上的实验结果表明,该模型能充分利用文图一对多关系的有效信息和帖子之间的语义特征关系,比基线模型准确率提升了3.15%。

关键词：虚假新闻检测跨模态注意力机制多模态对比学习

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：