加密图像中的数据隐藏(Data Hiding in Encrypted Images,DHEI)是一种可行的云端存储方案,但其载体唯一,一旦被破坏就可能导致载体图像无法恢复。DHEI与秘密共享的结合能够在多载体图像中嵌入数据的同时保护原始图像的隐私性和安全性。...
详细信息
加密图像中的数据隐藏(Data Hiding in Encrypted Images,DHEI)是一种可行的云端存储方案,但其载体唯一,一旦被破坏就可能导致载体图像无法恢复。DHEI与秘密共享的结合能够在多载体图像中嵌入数据的同时保护原始图像的隐私性和安全性。但现有基于数据隐藏的秘密共享方案主要是利用自然图像像素的相关性为数据隐藏预留空间,嵌入容量受自然图像内容制约。在进行数据嵌入时,若数据量大于载体图像可嵌入容量,则存在数据丢失的可能性。针对该问题,本文基于压缩感知技术(Compressed Sensing,CS),提出一种面向秘密共享的逐层残差预测加密域大容量数据隐藏方案。首先,该方案通过压缩感知逐层预测技术(Layer-by-Layer Prediction Technology base on Compressed Sensing,LLPT-CS)减小测量值之间的冗余性,实现对原始图像进行加密的同时腾出嵌入空间(~4.0bpp);其次,加密图像以秘密图像共享(Secret Image Sharing,SIS)的形式生成n个秘密份额,分别发送至n个数据隐藏器;接着,数据隐藏器在无图像内容访问权限的情况下向秘密份额嵌入秘密数据;最后,接收端获取n个数据隐藏器中的任意k个秘密份额后即可依次通过拉格朗日插值法和CS重建算法恢复原始图像。实验结果表明,本文提出方案能实现嵌入率预设,保证数据嵌入的稳定性,并且能较好地保护云端图像存储的隐私性和安全性;与现有的秘密共享数据隐藏方案相比,该方案不仅能很好地为云端图像储存提供稳定的大容量秘密数据嵌入空间,而且还能恢复出在视觉上愉悦的图像,拥有现有方案不具备的逐步恢复功能。
多模态讽刺检测是在多模态场景下识别用户的讽刺言语。现有的多模态讽刺识别方法大多对编码之后的特征直接融合，并未关注图像和文本的深层特征以及图像和文本之间的交互。针对上述问题，本文提出基于图文交互和深层特征融合的多模态讽刺检测框架。首先，使用具有长文本能力的对比语言-图像预训练模型（Contrastive Language-Image Pre-training model with Long text capability,Long-CLIP），对图像和文本进行编码，获得图像和文本的特征表示，进一步引入跨模态注意力机制，建立图像和文本特征之间的交互表示；其次，利用多个卷积神经网络从不同角度分别获得图像和文本的深层特征表示，并利用Key＿less Attention机制融合图像和文本的深层特征；最后，通过多层感知机实现多模态讽刺检测。在公开的数据集MMSD2.0上进行实验，实验结果表明所提出的方法与现有的最先进的基线模型相比，Acc和F1分别提升0.33%和0.15%，表明了图文交互及深层特征可以提升多模态讽刺检测的性能。
暂无评论