针对现有图像数据集存在的隐私保护需求,提出一种图像数据集隐私保护场景及该场景下隐私保护的图像替代数据生成方法。该场景利用经隐私保护方法处理后的替代图像数据集取代原始图像数据集,其中替代图像与原始图像一一对应,人类无法识别替代图像所属类别,替代图像可训练现有的深度学习图像分类算法,且具有较好的分类效果。同时针对上述场景,改进了基于投影梯度下降(PGD:Project Gradient Descent)攻击的数据隐私保护方法,将原始PGD攻击目标由标签改为图像,即图像对图像的攻击,并使用经过对抗训练的鲁棒模型进行图像对图像攻击作为替代数据的生成方法。在标准测试集上,替代后的CIFAR(Canadian Institute For Advanced Research 10)数据集和CINIC数据集在图像分类任务上分别取得了87.15%和74.04%的测试正确率。实验结果表明,该方法能在保证替代数据集对人类隐私性的前提下,生成原始数据集的替代数据集,并保证现有方法在该数据集上的分类性能。
时序抽象作为分层强化学习的重要研究内容,允许分层强化学习智能体在不同的时间尺度上学习策略,可以有效解决深度强化学习难以处理的稀疏奖励问题。如何端到端地学习到优秀的时序抽象策略一直是分层强化学习研究面临的挑战。Option-Critic(OC)框架在Option框架的基础上,通过策略梯度理论,可以有效解决此问题。然而,在策略学习过程中,OC框架会出现Option内部策略动作分布变得十分相似的退化问题。该退化问题影响了OC框架的实验性能,导致Option的可解释性变差。为了解决上述问题,引入互信息知识作为内部奖励,并提出基于互信息优化的Option-Critic算法(Option-Critic Algorithm with Mutual Information Optimization,MIOOC)。MIOOC算法结合了近端策略Option-Critic(Proximal Policy Option-Critic,PPOC)算法,可以保证下层策略的多样性。为了验证算法的有效性,把MIOOC算法和几种常见的强化学习方法在连续实验环境中进行对比实验。实验结果表明,MIOOC算法可以加快模型学习速度,实验性能更优,Option内部策略更有区分度。
暂无评论