随着互联网技术的快速发展,在日常生活以及工作中所产生的信息量也越来越大,对信息进行分析分类,是机器学习的重要任务。传统的分类学习往往假设训练样本和测试样本满足独立同分布条件。但是,在实际应用中这一假设往往很难满足,而获取高质量的标注数据需要耗费很大的人力和物力。因此如何有效进行“知识迁移”也成为当下研究热点之一。本文以子空间学习、伪标签学习和残差网络为基础,以如何提升跨域条件下的图像分类性能为目标,从特征学习、分布对齐、伪标签学习三方面进行研究。论文的主要内容包含以下三个部分:
(1)无监督域自适应的鉴别不变对齐算法。现有的域自适应方法大多侧重于提取源域和目标域的共同特征,没有考虑此过程所引起的类中心在目标域的偏移以及目标域数据结构信息学习的问题。因此,本文首先提出了一种新的域自适应方法,称为跨域图像的鉴别不变对齐(Discriminative Invariant Alignment,DIA)。DIA将源域的类别信息和目标域的局部数据结构信息相结合,用来丰富知识矩阵的学习、通过引入源域的最大间隔准则,扩展了分类边界。我们在5个基准数据库上进行实验,实验结果表明,DIA在分类精度上优于同类对比方法。
(2)基于标签加权的相关几何对齐算法。无监督域自适应是解决大数据时代下由小数据带来的挑战的有效方法。目前许多域自适应算法,会利用弱分类器生成目标域的伪标签加强类别上的分布对齐,来提高算法的分类性能。然而,由于错误伪标签造成的条件分布匹配不正确而导致的性能下降是这类方法所面临的一个重大的挑战。针对上述问题,本文提出了一种基于标签加权的相关几何对齐算法(Correlated Geometry Alignment Based on Label Weighting,CGALW)。CGALW将域不变特征对齐、相关特征对齐、几何结构调整加权和伪标签置信学习集成到一个统一的学习模型中。我们在三个基准数据集上进行了实验,结果表明该方法的性能优于相关方法。
(3)动态联合分布对齐网络算法。针对当前许多深度域自适应方法训练代价大,以及域泛化能力不佳的问题。本文提出了一种动态的联合分布对齐网络(Dynamic and Joint Distribution Alignment Networks,DJDA)。DJDA对分类器预测置信度进行估计,得到一个动态权值来衡量当前网络的学习置信度,并且通过当前权值来调节全局分布对齐和局部分布对齐所占的比重。简单来说,在训练的初期DJDA主要对齐两个域的全局分布,当网络的训练逐渐加深后,DJDA再对两个域的局部分布进行对齐。我们在一些公开数据集上进行实验,结果表明DJDA与相关方法相比有明显的提升。
现实世界中训练数据和测试数据往往存在分布差异,导致基于独立同分布假设的模型丧失鲁棒性.无监督域自适应是一种重要解决方法,极具应用价值.鉴于此,国内外研究者进行大量理论基础和方法技术的研究,促进了很多应用领域的发展,包括自动驾驶、智慧医疗等.但是,目前主流的方法仍存在一些问题:源域和目标域的概率分布距离是否能真正代表它们之间的差异,以及如何更准确地度量2个分布之间的差异,仍然是一个值得探讨的问题.同时,如何更有效地利用伪标签,也是一个值得继续探索的问题.提出了反向伪标签最优化传输(backward pseudo-label and optimal transport,BPLOT),不仅利用瓦瑟斯坦距离和格罗莫夫-瓦瑟斯坦距离,从最优化特征-拓扑传输的角度更准确地计算了2个分布之间的差异;而且提出了反向验证伪标签的模块来更有效地利用伪标签,在训练过程中验证伪标签的质量.将所提出的方法在多个无监督域自适应的数据集上进行了实验验证.实验结果表明,BPLOT模型的效果超过了所有对比的基准方法.
暂无评论