一种结合空间特征的图像注意力标注算法改进研究

作     者：徐守坤 周佳 李宁 石林 Xu Shoukun;Zhou Jia;Li Ning;Shi Lin

作者机构：常州大学信息科学与工程学院江苏常州213164 常州大学数理学院江苏常州213164 福建省信息处理与智能控制重点实验室(闽江学院)福州350108 

出 版 物：《计算机应用研究》 (Application Research of Computers)

年 卷 期：2019年第36卷第1期

页      面：288-291,31页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：闽江学院福建省信息处理与智能控制重点实验室开放课题资助项目(MJUKF201740) 

主　　题：视觉注意力 图像标注 空间特征 

摘      要：针对图像标注和attention机制结合过程中特征选择不充分和预测过程中对空间特征权重比例不足的问题,提出了一种结合空间特征的注意力图像标注方法。首先通过卷积神经网络得到图像特征,特征区域与文本标注序列匹配;然后通过attention机制给标注词汇加权,结合空间特征提取损失函数得到基于空间特征注意力的图像标注;最后分别在Flickr30k和MS-COCO两个数据集上进行验证,通过可视化显示该模型如何自动学习显著区域并生成相应的词汇输出序列。实验结果表明,该方法能较好地提取注意力区域并给出标注,与其他模型对比能够得到更好的标注结果。