流数据作为一种新型数据,在各个领域均有应用,其快速、大量及持续不断的特点使得单遍精准扫描成为在线学习算法的必备特质.在流数据不断产生过程中,往往会发生概念漂移,目前对于概念漂移节点检测的研究相对成熟,然而实际问题中学习环境因素朝不同方向发展往往会导致流数据中概念漂移类别的多样性,这给流数据挖掘及在线学习带来了新的挑战.针对这个问题,提出一种基于时序窗口的概念漂移类别检测(concept drift class detection based on time window,CD-TW)方法.该方法借助栈和队列对流数据进行存取,借助窗口机制对流数据进行分块学习.首先创建2个分别加载历史数据和当前数据的基础节点时序窗口,通过比较二者所包含数据的分布变化情况来检测概念漂移节点.然后创建加载漂移节点后部分数据的跨度时序窗口,通过分析该窗口中数据分布的稳定性检测漂移跨度,进而判断概念漂移类别.实验结果表明该方法不仅能够精确定位概念漂移节点,同时在漂移类别判断方面也表现出良好性能.
多视图聚类是当前数据分析领域的一个重要研究方向，旨在通过整合来自不同视角的数据，提升聚类精度。然而，传统的多视图聚类方法虽然在一定程度上提高了聚类效果，但往往忽略了视图间局部与全局特征的交互与融合。此外，尽管近年提出的多视图深度聚类方法，通过深度神经网络或对比学习增强了表征能力，但大多只关注局部或全局特征，未能在同一框架下对这两类特征进行综合处理。针对这些不足，提出了一种融合卷积神经网络与Transformer的深度多视图聚类模型(Deep Multi-View Clustering Network Integrating Local and Global Features，DMVCN-ILGF)，该模型设计了并行的卷积分支和Transformer分支，分别用于提取局部特征和全局特征。为了实现特征的有效融合，引入了特征交互机制(Feature Interaction Mechanism，FIM)和特征融合模块(Feature Fusion Module，FFM)，通过充分整合各视图的特征信息，以增强不同特征的交互和融合，最终提升聚类性能。进一步地，还设计了实例级和类别级对比损失，分别计算各视图的局部与全局特征之间的相似性，从而优化模型的表征能力和聚类效果。实验结果表明，提出的DMVCN-ILGF模型在多个多视图数据集上均取得了显著优于现有方法的聚类性能。
流数据作为大数据的重要形式广泛存在于实际问题中,由于流数据中数据分布变化产生概念漂移,容易导致模型的泛化性能下降,且在实际应用问题中,数据标记成本较高,难以获得强监督的信息.针对以上问题,本文提出一种基于在线深度神经网络的弱监督概念漂移检测(Weakly supervised conceptual drift detection method based on online deep neural network,WSCDD)方法.该方法设计了一种在线深度神经网络模型,采用Hedge反向传播方法在线学习网络深度,并通过设计Dropout层在模型预测时引入随机性,利用蒙特卡罗方法量化深度神经网络模型的预测不确定性,通过自适应滑动窗口技术检测弱监督环境下概念漂移的发生,并使模型适应新的概念.实验结果表明,该方法可以准确检测数据流中概念漂移的发生,在漂移发生后能够快速收敛到新的数据分布,提高了学习模型的泛化性能.
暂无评论