时序数据存在近因性特点,即变量值普遍依赖近期的历史信息,而现有时序因果推断方法没有充分考虑时序数据的这种特性,在通过假设检验推断不同延迟的因果关系时使用统一的阈值,难以有效推断较弱的因果关系。针对上述问题,提出基于自适应阈值学习的时序因果推断方法:首先提取数据特性,其次根据不同延迟下数据呈现的性质,自动地学习假设检验过程中使用的阈值组合,最后将该阈值组合用于PC(Peter-Clark)算法、PCMCI(Peter-Clark and Momentary Conditional Independence)算法和VAR-LINGAM(Vector AutoRegressive LINear non-Gaussian Acyclic Model)算法的假设检验过程,以得到更准确的因果关系结构。在仿真数据集上的实验结果表明,采用所提方法的自适应PC算法、自适应PCMCI算法和自适应VAR-LINGAM算法的F1值都有所提高。
随着万物互联时代的到来,具备目标检测能力的物联网设备数量呈爆炸式增长。基于此,网络边缘产生了海量的实时数据,具有低时延、低带宽成本和高安全性特点的边缘计算随之成为一种新兴的计算模式。传统的深度学习方法通常假定在模型训练前所有数据已完全具备,然而实际的边缘计算场景中大量的新数据及类别往往随时间逐渐产生和获得。为了在训练数据成批积累和更新的条件下在资源有限的边缘设备上高效率地完成目标检测任务,本文提出了基于多中间层知识蒸馏的增量学习方法(incremental learning method based on knowledge distillation of multiple intermediate layers,ILMIL)。首先,为了能够适当地保留原有数据中的知识,提出了包含多个网络中间层知识的蒸馏指标(multi-layer feature map RPN and RCN knowledge,MFRRK)。ILMIL将教师模型和学生模型的中间层特征的差异加入模型训练,相比于现有的基于知识蒸馏方法的增量学习,采用ILMIL方法训练的学生模型可以从教师模型的中间层学习到更多的旧类信息来缓解遗忘。其次,ILMIL利用MFRRK蒸馏知识完成现有模型的增量训练,避免训练使用多个独立模型带来的资源开销;为进一步降低模型复杂度以高效地在边缘设备上部署推理,可在知识蒸馏前进行剪枝操作来压缩现有模型。在不同场景和条件下的实验对比表明,本文方法可在有效降低模型计算和存储开销的前提下,缓解已有知识的灾难性遗忘现象,并维持可接受的推理精度。
暂无评论