检索结果-内蒙古大学图书馆

软件学报 2015年第10期26卷 2567-2580页

作者：赵强利蒋艳凰卢宇彤湖南商学院计算机与信息工程学院湖南长沙410205 高性能计算国家重点实验室(国防科学技术大学) 湖南长沙410073

集成式数据流挖掘是对存在概念漂移的数据流进行学习的重要方法.针对传统集成式数据流挖掘存在的缺陷,将人类的回忆和遗忘机制引入到数据流挖掘中,提出基于记忆的数据流挖掘模型MDSM(memorizing based data stream mining).该模型将基... 详细信息

集成式数据流挖掘是对存在概念漂移的数据流进行学习的重要方法.针对传统集成式数据流挖掘存在的缺陷,将人类的回忆和遗忘机制引入到数据流挖掘中,提出基于记忆的数据流挖掘模型MDSM(memorizing based data stream mining).该模型将基分类器看作是系统获得的知识,通过"回忆与遗忘"机制,不仅使历史上有用的基分类器因记忆强度高而保存在"记忆库"中,提高预测的稳定性,而且从"记忆库"中选取当前分类效果好的基分类器参与集成预测,以提高对概念变化的适应能力.基于MDSM模型,提出了一种集成式数据流挖掘算法MAE(memorizing based adaptive ensemble),该算法利用Ebbinghaus遗忘曲线对系统的遗忘机制进行设计,并利用选择性集成来模拟人类的"回忆"机制.与4种典型的数据流挖掘算法进行比较,结果表明:MAE算法分类精度高,对概念漂移的整体适应能力强,尤其对重复出现的概念漂移以及实际应用中存在的复杂概念漂移具有很好的适应能力.不仅能够快速适应新的概念变化,并且能够有效抵御随机的概念波动对系统性能的影响.

关键词：数据流挖掘概念漂移回忆与遗忘 Ebbinghaus遗忘曲线选择性集成

来源：评论

学校读者我要写书评

暂无评论

数据流挖掘若干问题的研究

数据流挖掘若干问题的研究

引用

作者：尹志武上海交通大学

学位级别：博士

随着计算机网络、数据库、多媒体等技术的飞速发展和日益普及,数据流模型在传感器网络、金融证券分析、数据挖掘、制造业和天文等领域得到了广泛的应用。和传统的数据模型相比,数据流模型具有截然不同的特点:数据量无穷;对问题要求快速... 详细信息

随着计算机网络、数据库、多媒体等技术的飞速发展和日益普及,数据流模型在传感器网络、金融证券分析、数据挖掘、制造业和天文等领域得到了广泛的应用。和传统的数据模型相比,数据流模型具有截然不同的特点:数据量无穷;对问题要求快速响应;数据概念随时间变化。传统的数据挖掘技术主要是针对静态和有限的数据,很难被应用到数据流这种新的模型中去,这促使越来越多的研究人员深入研究数据流模型,设计出新的数据处理方案。本文分析了当前数据流挖掘中的频繁元素挖掘、数据流分类、卸载处理和特征选择等关键技术,并针对其中的一些问题提出了改进方案和算法。论文的主要工作和创新点有: 1.提出了HCOUNT+算法来挖掘数据流上的频繁元素。HCOUNT+算法采用了一个辅助的措施来改进HCOUNT算法,虽然增加了有限的空间开销,但较大地提高了HCOUNT算法的准确率。HCOUNT+算法仅需要（1 +α）·（e/ε）·ln(-M/（lnp）)（α<1）个计数器,就能够估算每个元素的值,且最大误差不超过ε。在此基础之上,本文还提出了SL-HCOUNT+算法来挖掘数据流上最近出现的所有频繁元素,而不仅仅是传统算法所挖掘的TOP ? K的频繁元素。理论证明HCOUNT+算法和SL-HCOUNT+算法在挖掘频繁元素上具有较好的时间复杂度和空间复杂度,实验结果证实了这两种算法有较高的查询精度。 2.提出了基于逻辑回归的ELRClass算法来处理数据流的分类问题。逻辑回归有一些优良的特点:运行效率高;能在小样本上获得很高的分类准确率;能非线性处理离散的和连续的数据。ELRClass算法使用逻辑回归到滑动窗口中的数据,持续监测和更新当前的分类器。如果分类器性能的变坏是由于突发噪声而引起,则保持原有的分类器。如果检测到概念发生漂移,则构建和使用新的分类器。实验结果验证了ELRClass算法的有效性。 3.提出了几个基于支持向量机的算法来处理数据流的多分类问题。本文首先分别为一对一算法、一对多算法和DB2算法提出了一个增量式的改进算法One2One,One2Rest和LDB2,这些算法有对大容量数据进行多分类的能力。在每个增量步骤仅仅保留支持向量,这些支持向量加到下一个批次数据作为训练样本,构建若干个二分类器。在测试阶段,LDB2算法平均使用log2N个分类器,One2All算法使用N个分类器,One2One算法使用N （ N - 1）/2个分类器,所以LDB2算法比One2All算法和One2One算法的测试速度都要快。实验结果显示LDB2算法比One2One算法和One2Rest算法的分类交叉准确率都要高。本文还提出了一个能实时检测局部概念漂移并随之自适应调整的数据流分类算法IncreDB2。当局部概念漂移出现时,IncreDB2算法不是重新构造一个全新的DB2层次分类树,而是仅更新漂移所影响的局部结点,具有较好时间运行效率。实验结果表明该算法可以有效解决数据流分类中出现的局部概念漂移的问题。 4.提出了RLS算法来进行数据流管理系统的卸载处理。本文指出查询操作符的选择率会由于卸载操作的执行而改变,在卸载操作前后可能会有突变。而传统的卸载算法在确定卸载地点时候,通常假定选择率在卸载前和卸载后保持不变,这使传统算法得到的卸载地点并不是最合适的。与传统卸载算法不同的是, RLS算法使用卸载操作后的选择率,而不是卸载操作前的选择率来确定最合适的卸载地点。实验结果表明RLS算法具有较好的查询准确率。 5.提出了两个基于OCFS算法的特征选择算法POCFS和POCFS+。大部分的特征选择算法是贪婪算法,不能提供最优解,而最近提出的基于正交中心思想的最优特征选择算法（OCFS算法）能依据正交中心函数获得最优解。与OCFS算法为所有的类选择相同特征不同的是,POCFS算法和POCFS+算法为不同的类对选择不同的特征,从而可以分类算法选择更合适的特征。另外,除了采用能量函数外,POCFS+算法还定义了特征分数的递减比率来加速确定最优特征数量的选择过程。实验结果表明分类算法中采用POCFS算法能获得与采用OCFS算法相似的分类准确率,但是有更好的时间开销,而采用POCFS+算法能进一步提高数据流分类的运行效率和分类效果。

关键词：频繁模式分类支持向量机卸载处理特征选择数据流挖掘

来源：评论

学校读者我要写书评

暂无评论

数据流挖掘技术及其在仿真中的应用

引用

计算机科学 2009年第3期36卷 116-118,133页

作者：敖富江戚宗锋陈彬黄柯棣国防科技大学机电工程与自动化学院长沙410073 中国人民解放军63892部队洛阳471003

随着仿真系统复杂程度的增加和规模的增大,仿真时间越来越长,仿真所产生的数据量越来越大,使得仿真数据具有数据流的特性,因此可以采用数据流挖掘技术处理仿真数据。综述了数据流和数据流挖掘技术的主要特点;提出了基于数据流挖掘技术... 详细信息

随着仿真系统复杂程度的增加和规模的增大,仿真时间越来越长,仿真所产生的数据量越来越大,使得仿真数据具有数据流的特性,因此可以采用数据流挖掘技术处理仿真数据。综述了数据流和数据流挖掘技术的主要特点;提出了基于数据流挖掘技术的仿真应用框架;设计了通用数据流挖掘成员,以便能够快速将数据流挖掘算法集成到基于HLA体系结构的仿真系统中,并以导弹突防仿真系统为例介绍了所设计的通用数据流关联规则挖掘成员。

关键词：数据流挖掘仿真通用数据流挖掘成员关联规则

来源：评论

学校读者我要写书评

暂无评论

数据流挖掘技术研究

引用

统计与决策 2010年第7期26卷 161-162页

作者：王大将孙洁南京陆军指挥学院作战实验中心南京210045 常州技术师范学院计算机系江苏常州213001

数据流挖掘技术是数据挖掘技术的新研究方向之一。文章介绍了数据流、数据流挖掘的特点,对现有的数据流挖掘算法进行了总结、分析,提出了数据流挖掘的研究方向和应用前景。

关键词：数据流数据流挖掘聚类分类频繁模式

来源：评论

学校读者我要写书评

暂无评论

数据流挖掘中聚类算法的研究与实现

数据流挖掘中聚类算法的研究与实现

引用

作者：张帆北京林业大学

学位级别：硕士

随着互联网技术和分布式计算技术的快速发展,一种新型的数据类型-数据流应用而生,它广泛出现在了互联网信息监控、银行证券分析、无线传感器网络、天气预报以及气象监测等领域。传统的数据挖掘技术只能应用于静态、少量的数据集合,不能... 详细信息

随着互联网技术和分布式计算技术的快速发展,一种新型的数据类型-数据流应用而生,它广泛出现在了互联网信息监控、银行证券分析、无线传感器网络、天气预报以及气象监测等领域。传统的数据挖掘技术只能应用于静态、少量的数据集合,不能很容易的扩展到适应快速、无限、持续变化的数据流应用中,因此,对于数据流理论的研究和应用成为数据流挖掘的一个重要研究方向,特别是针对数据流聚类算法的研究及网络入侵检测等问题。本文首先分析了国内外在数据流聚类算法的研究现状、静态数据挖掘算法的优缺点、数据流聚类算法的优缺点,为后文的算法奠定了基础。然后,通过对已有数据流聚类算法的深入研究,实现了一种基于密度的数据流聚类算法ρ—Stream。针对闵可夫斯基距离和余弦相似性度量的特点,引入了两个新的概念：频度和数据摘要信息,并且提出了一种度量多重属性数据相似性的方法。ρ—Stream采用树的结构和动态哈希表对结点和指针进行存储,解决了算法的时间和空间复杂度问题。针对数据流聚类参数设置问题,为了使得算法能够在一定大小的内存中完成,提出了一种密度阈值函数。针对离线层聚类算法运行效率问题,提出了一种基于内存抽样的方法来发现聚类。最后,根据数据流自身的特性,设计了一个适合数据流聚类算法的网络入侵检测框架,并通过后台机器学习方式实时扩展异常数据字典。通过使用KDD CUP1999数据集进行实验,证实了本文算法的优越性,达到了预期效果。

关键词：数据流挖掘数据流聚类算法 ρ-Stream

来源：评论

学校读者我要写书评

暂无评论

数据流挖掘技术在入侵检测中的研究与应用

数据流挖掘技术在入侵检测中的研究与应用

引用

作者：葛翠翠广东工业大学

学位级别：硕士

随着计算机网络和信息技术的不断发展,人们在得益于网络的同时,其上网的数据安全性和人们自身的利益受到了严重威胁,信息和网络系统的安全性变得至关重要。入侵检测是一种积极主动的安全防护技术,提供了对内部攻击、外部攻击和误操作的... 详细信息

随着计算机网络和信息技术的不断发展,人们在得益于网络的同时,其上网的数据安全性和人们自身的利益受到了严重威胁,信息和网络系统的安全性变得至关重要。入侵检测是一种积极主动的安全防护技术,提供了对内部攻击、外部攻击和误操作的实时监控,在系统受到危害之前拦截和响应入侵。但由于网络结构的不断复杂化,传统的网络入侵检测技术已经无法适应网络新攻击层出不穷和数据量日益增大的趋势。当前入侵检测系统中误报率高、实时性差和很难发现复杂的分步骤攻击等问题成为当前安全领域亟待解决的问题之一。数据流挖掘技术是一种对高维的、动态变化的大量流式数据进行挖掘的新方法,如何在有限的空间和时间内对网络数据进行快速处理以获取有用信息,成为当前数据挖掘领域的研究热点。网络数据流是实时到达的,通过对实时数据进行处理,发现其中的频繁模式用来提取用户行为特征、建立检测模型,能够提高入侵检测系统的实时性和适应性,是实现入侵检测自动化的重要途径。本文分析了当前入侵检测系统的现状和面临的挑战以及数据流挖掘技术。针对数据流海量、快速、以特定次序到达等特点,通过采用事务与时间相结合的滑动窗口模型、使用带权的位对象和位对象组表示数据、构造位频繁模式树MFP-Tree等手段,提出了一个可以在非恒定流速的数据流中挖最大频繁模式的算法MFP-Stream.为了解决当前入侵检测系统实时性差、漏报率高等问题,本文提出了一个基于数据流挖掘技术的入侵检测系统,系统主要包括抓包及过滤模块、预处理模块、数据流挖掘模块、特征提取模块和控制模块等,利用Snort系统开源、系统规则简洁、易扩展、易操作等特性,将MFP-Stream算法挖掘出的最大频繁模式通过特征编码、加入规则文件等方式形成一个正常行为模式库,并将其应用到Snort系统中,正常行为模式库保存了用户的正常行为,当待检测数据与模式库中数据不匹配时即被认定为入侵行为。源源不断流入的数据流和MFP-Stream算法实时挖掘的特性,可以保证这个正常行为模式库实时更新,保证了系统的实时性以及面对未知方式入侵时的检测能力。最后用KDD99数据集对系统进行了测试。

关键词：数据流挖掘入侵检测滑动窗口最大频繁模式 MFP-Stream算法

来源：评论

学校读者我要写书评

暂无评论

数据流挖掘技术及应用研究

数据流挖掘技术及应用研究

引用

作者：安静华北电力大学（河北）

学位级别：硕士

数据流技术已成为当今数据处理领域的研究热点,数据流挖掘是数据流技术研究的重要分支。数据流挖掘的核心思想是设计数据集单遍扫描算法,在有限的内存中存储少量代表数据流特征的概要数据,即时、快速地处理概要数据以得到响应结果,实现... 详细信息

数据流技术已成为当今数据处理领域的研究热点,数据流挖掘是数据流技术研究的重要分支。数据流挖掘的核心思想是设计数据集单遍扫描算法,在有限的内存中存储少量代表数据流特征的概要数据,即时、快速地处理概要数据以得到响应结果,实现数据流实时、在线分析。对数据流进行聚类、分类具有广泛的应用价值。本文建立了数据流挖掘模型,完成了数据流概要的构建并实现了相应的增量更新算法,将聚类、分类算法应用于数据流这一新的数据模型上,对传统数据挖掘技术进行改进,实现了数据的实时处理和在线分析。在此基础上提出数据流挖掘技术在电力系统负荷分析和电能质量扰动在线识别领域中的应用框架,并给出了具体的实现方法,实验结果验证了方法的有效性。

关键词：数据流挖掘聚类分类概要数据结构

来源：评论

学校读者我要写书评

暂无评论

分布式数据流挖掘的研究进展

引用

计算机科学 2012年第1期39卷 1-8,36页

作者：曲武隋海峰杨炳儒谢永红北京科技大学信息工程学院北京100083

随着通信技术和硬件设备的不断发展,尤其是小型无线传感设备的广泛应用,数据采集和生成技术变得越来越便捷和趋于自动化,研究人员正面临着如何管理和分析大规模动态数据集的问题。能够产生数据流的领域应用已经非常普遍,例如传感器网络... 详细信息

随着通信技术和硬件设备的不断发展,尤其是小型无线传感设备的广泛应用,数据采集和生成技术变得越来越便捷和趋于自动化,研究人员正面临着如何管理和分析大规模动态数据集的问题。能够产生数据流的领域应用已经非常普遍,例如传感器网络、金融证券管理、网络监控、Web日志以及通信数据在线分析等新型应用。这些应用的特征是环境配备有多个分布式计算节点;这些节点往往临近于数据源;分析和监控这种环境下的数据,往往需要对挖掘任务、数据分布、数据流入速率和挖掘方法有一定的了解。综述了分布式数据流挖掘的当前进展概况,并展望了未来可能的、潜在的专题研究方向。

关键词：分布式数据流挖掘数据流挖掘数据流

来源：评论

学校读者我要写书评

暂无评论

一种基于正态分布的数据流挖掘决策树算法

引用

计算机应用与软件 2014年第8期31卷 285-287页

作者：付达杰戴红红江西财经职业学院计算机系江西九江332000

针对常规决策树算法在挖掘数据流时存在的不足,提出一种基于正态分布的决策树NDDT(Normal Distribution Decision Tree)算法。从近似正态分布的相关定理出发,详细分析算法的具体实现过程,给出算法实现的伪代码及注释,并借助Matlab软件... 详细信息

针对常规决策树算法在挖掘数据流时存在的不足,提出一种基于正态分布的决策树NDDT(Normal Distribution Decision Tree)算法。从近似正态分布的相关定理出发,详细分析算法的具体实现过程,给出算法实现的伪代码及注释,并借助Matlab软件进行建模与仿真。结果表明,NDDT算法具有精度高、精度不依赖于参数δ、处理时间短及处理时间与训练数据样本呈近似线性关系等优点。因此NDDT算法具有可行性、可靠性及良好的应用前景。

关键词：数据流挖掘决策树最佳属性近似正态分布

来源：评论

学校读者我要写书评

暂无评论

概念漂移数据流挖掘算法综述

引用

计算机科学 2016年第12期43卷 24-29,62页

作者：丁剑韩萌李娟北方民族大学计算机科学与工程学院银川750021

数据流是一种新型的数据模型,具有动态、无限、高维、有序、高速和变化等特性。在真实的数据流环境中,一些数据分布是随着时间改变的,即具有概念漂移特征,称为可变数据流或概念漂移数据流。因此处理数据流模型的方法需要处理时空约束和... 详细信息

数据流是一种新型的数据模型,具有动态、无限、高维、有序、高速和变化等特性。在真实的数据流环境中,一些数据分布是随着时间改变的,即具有概念漂移特征,称为可变数据流或概念漂移数据流。因此处理数据流模型的方法需要处理时空约束和自适应调整概念变化。对概念漂移问题和概念漂移数据流分类、聚类和模式挖掘等内容进行综述。首先介绍概念漂移的类型和常用概念改变检测方法。为了解决概念漂移问题,数据流挖掘中常使用滑动窗口模型对新近事务进行处理。数据流分类常用的模型包括单分类模型和集成分类模型,常用的方法包括决策树、分类关联规则等。数据流聚类方式通常包括基于k-means的和非基于k-means的。模式挖掘可以为分类、聚类和关联规则等提供有用信息。概念漂移数据流中的模式包括频繁模式、序列模式、episode、模式树、模式图和高效用模式等。最后详细介绍其中的频繁模式挖掘算法和高效用模式挖掘算法。

关键词：数据流挖掘分类聚类模式挖掘概念漂移

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：