在零样本图像分类中,语义嵌入技术(即用语义属性描述类标签)通过传递已知对象的知识,为生成未知对象的视觉特征提供了条件。当前研究往往使用语义属性作为描述视觉特征的辅助信息。然而,语义属性通常由人工标注等外部范式获得,这使得其与视觉特征间的一致性较弱,且视觉特征的多样性通常无法通过单一的语义属性进行描述。为提升语义属性的多样性,增强语义属性对视觉特征的描述能力,本文提出一种基于语义拓展和嵌入的零样本学习(Seman-tic extension and embedding for Zero-Shot Learning,SeeZSL)。SeeZSL通过构造每个类潜在的语义空间对语义属性进行拓展,再基于语义空间生成未知类的视觉特征。此外,为缓解原始特征空间与语义属性一致性弱、缺乏判别能力的问题,本文将基于语义拓展的生成模型与对比嵌入式模型相结合。在4个benchmark数据集上实验验证了所提SeeZSL方法的有效性。
暂无评论