基于判别性矩阵分解的多标签跨模态哈希检索

作     者：谭钰 王小琴 蓝如师 刘振丙 罗笑南 TAN Yu;WANG Xiaoqin;LAN Rushi;LIU Zhenbing;LUO Xiaonan

作者机构：广西图像图形与智能处理重点实验室(桂林电子科技大学)广西桂林541004 卫星导航定位与位置服务国家地方联合工程研究中心(桂林电子科技大学)广西桂林541004 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2023年第43卷第5期

页      面：1349-1354页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(62172120,61936002,6202780103,61772149) 广西科技计划项目(2019GXNSFFA245014,AD18216004,AD18281079,AA18118039) 广西图像图形与智能处理重点实验室开发课题(GIIP2001) 

主　　题：跨模态检索 矩阵分解 哈希学习 平衡向量 多标签数据 

摘      要：现有的跨模态哈希算法低估了不同类别标签之间语义差异的重要性,忽略了哈希向量的平衡条件,导致所学习到的哈希码的判别性能差。此外,一些方法利用标签信息构造相似性矩阵,并将多标签数据视为单标签数据进行建模,这在多标签跨模态检索中造成了较大的语义损失。为了保留异构数据之间精确的相似程度和哈希向量的平衡特性,提出了一种新的有监督哈希算法——基于判别性矩阵分解的多标签跨模态哈希检索(DMFH)。该方法利用核化特征的协同矩阵分解(CMF)获得了一个共享的隐式子空间;同时利用数据之间共有标签的比例来描述异构数据的相似程度;此外,利用标签的平衡信息构造平衡矩阵,生成具有平衡特性的哈希向量,并最大化不同类别标签之间的类间距。在两个常用多标签数据集MIRFlickr和NUS-WIDE上与7种先进的跨模态哈希方法进行对比,在“以图搜文(I2T)和“以文搜图(T2I)任务上,DMFH均取得了最高的平均精度均值(mAP),而且T2I任务的mAP更优,说明DMFH能够更有效地利用文本模态中的多标签语义信息。还分析了所构造的平衡矩阵与相似性矩阵的有效性,验证了DMFH算法能有效保持语义信息和相似性关系,在多标签跨模式检索中是有效的。