检索结果-内蒙古大学图书馆

作者：孙伟伟太原科技大学

学位级别：硕士

离群数据的检测与分析是数据挖掘领域的主要研究内容之一，在欺诈分析、网络入侵检测等许多领域有着广泛的应用。本文针对离群数据挖掘算法大都受人为确定参数的影响，从属性的分类特性和数据集的本身特征两个方面出发，采用基尼指标作... 详细信息

离群数据的检测与分析是数据挖掘领域的主要研究内容之一，在欺诈分析、网络入侵检测等许多领域有着广泛的应用。本文针对离群数据挖掘算法大都受人为确定参数的影响，从属性的分类特性和数据集的本身特征两个方面出发，采用基尼指标作为数据离群程度的度量手段，对离群数据挖掘算法进行了研究。其主要研究成果为： 1）给出了一种基于基尼指标的离群数据挖掘方法。该算法采用基尼指标来衡量数据对象对数据集不纯度的影响程度，来刻画其离群程度；由于不需要人为输入参数，使得挖掘结果更具客观性；最后采用UCI数据和恒星光谱数据集，实验结果验证了算法的可行性和有效性。 2）给出了一种基于基尼指标加权的离群子空间与离群数据挖掘方法。该算法首先通过计算各个维上去一划分的基尼指标值，来确定数据对象的离群子空间及属性权向量；然后在离群子空间中采用基于统计的离群数据挖掘思想来挖掘离群数据；由于不需要输入参数，有效地消除了人为因素对离群数据挖掘结果的影响，并且能够有效地适应高维离群数据挖掘；最后采用UCI数据和恒星光谱数据集，实验结果验证了算法的可行性和有效性。

关键词：离群数据基尼指标离群度量因子属性权向量离群子空间

来源：评论

学校读者我要写书评

暂无评论

海量流数据环境下的离群数据挖掘技术研究

海量流数据环境下的离群数据挖掘技术研究

引用

作者：曹晖浙江大学

学位级别：博士

随着互联网技术的飞速发展,海量数据应用处理逐渐成为主流,而流数据系统则是其中最为典型的应用之一。作为新型的数据密集型应用,流数据具有有序实时到达,数据量接近于无限而无法全部保存在存储介质中,应用层性能需要达到实时响应等特... 详细信息

随着互联网技术的飞速发展,海量数据应用处理逐渐成为主流,而流数据系统则是其中最为典型的应用之一。作为新型的数据密集型应用,流数据具有有序实时到达,数据量接近于无限而无法全部保存在存储介质中,应用层性能需要达到实时响应等特点。由于这些特性,需要在流数据的生命周期内快速挖掘出潜在的数据模式信息,否则数据将随时间过期而删除。\n 因此,流数据环境下的离群数据挖掘有着重要的实用意义,并在金融分析、欺诈检测等领域有着广泛应用。但是目前仍然缺乏相关的离群点定义及模型,如果直接在流数据应用中使用传统的离群数据挖掘算法,则无法达到实时响应的性能要求。为此,本文主要对流数据环境下的离群数据定义、模型以及挖掘算法进行了研究和探索。\n 本文首先对流数据处理以及离群数据挖掘领域的相关工作和研究现状进行了回顾和分析,全面介绍了目前主流的离群点定义和检测算法,并综合流数据处理模型总结了当前工作的不足及问题,分析了存在的挑战,并引出了本文的研究内容。\n 通过将流数据按照属性相似度进行划分,本文提出了属性离群点的概念,并设计了一个通用的在线挖掘框架,通过将流数据按照属性聚集性实时划分为多个子集合,结合后续的离群数据挖掘算法在每个子划分内对属性离群点进行检测。\n 针对属性离群点的概念,引入基于距离的离群度量标准,提出了一套面向监控的在线属性离群点挖掘方案,实时维护每个流数据对象的邻居总数。同时为了应对流数据环境下的高负载情况,将数据降载技术与近似算法相结合,在保证结果误差可控的前提下大幅提高算法性能。另外介绍了一种利用距离几何特性的网格划分策略,对部分冗余距离计算进行剪枝,进一步减少计算开销。\n 本文另外提出了一套面向预测的在线属性离群数据挖掘框架,利用核密度估计方法快速对当前滑动窗口内流数据内容分布进行模拟,并以此预测新到达流数据的离群度。在此基础上,为了进一步提升性能和减少资源占用,不再为每个流数据对象建立核密度探测器,而改为对一组数据创建对应核函数,大幅减少相应的核函数数目和计算资源开销。\n 对于最近流行的集值类型数据,本文提出了流数据环境下的集值数据离群点定义,并构建了一套基于分层聚类的实时挖掘框架,通过在线微簇划分和宏聚类过程将集值数据划分为多个紧密的聚簇,然后利用多种离群度量策略对每个聚簇的异常度进行分析,并以此判断最后的集值离群点。

关键词：离群数据挖掘流数据集值数据在线检测数据降载离群度量因子

来源：评论

学校读者我要写书评

暂无评论

信息熵度量的离群数据挖掘算法

引用

智能系统学报 2010年第2期5卷 150-155页

作者：张贺蔡江辉张继福乔衎太原科技大学计算机科学与技术学院山西太原030024 北京航空航天大学自动化科学与电气工程学院北京100191

离群数据挖掘是为了找出隐含在海量数据中相对稀疏而孤立的异常数据模式,但传统的离群数据挖掘方法受人为因素影响较大.通过引入基于信息熵的离群度量因子,给出一种离群数据挖掘新算法.该算法先利用信息熵计算每个数据对象的离群度量因... 详细信息

离群数据挖掘是为了找出隐含在海量数据中相对稀疏而孤立的异常数据模式,但传统的离群数据挖掘方法受人为因素影响较大.通过引入基于信息熵的离群度量因子,给出一种离群数据挖掘新算法.该算法先利用信息熵计算每个数据对象的离群度量因子,然后通过离群度量因子来衡量每个对象的离群程度,进而检测离群数据,有效地消除了人为主观因素对离群检测的影响,并能很好地解释离群点的含义.最后,采用UCI和恒星光谱数据作为实验数据,通过对实验的分析,验证了该算法的可行性和有效性.

关键词：离群数据信息熵离群度量因子数据挖掘

来源：评论

学校读者我要写书评

暂无评论

基于信息熵和子空间的离群数据挖掘算法研究

基于信息熵和子空间的离群数据挖掘算法研究

引用

作者：张贺太原科技大学

学位级别：硕士

离群数据挖掘是找出隐含在海量数据中相对稀疏而孤立的异常数据模式,它往往可以使人们发现一些真实的,但又出乎意料的知识,因此通过对离群数据的研究,发现异常的行为和模式,有着非常重要的意义。现有的传统离群数据挖掘方法存在着受人... 详细信息

离群数据挖掘是找出隐含在海量数据中相对稀疏而孤立的异常数据模式,它往往可以使人们发现一些真实的,但又出乎意料的知识,因此通过对离群数据的研究,发现异常的行为和模式,有着非常重要的意义。现有的传统离群数据挖掘方法存在着受人为因素影响较大,而且不能对挖掘出来的离群点做进一步分析的问题。本文采用信息熵作为离群数据的度量手段,对离群数据挖掘方法进行了研究,其主要研究成果如下: 1、给出一种基于信息熵的离群数据挖掘算法(OMBIE)。首先,分析和定义了基于信息熵的离群度量因子,并通过离群度量因子来度量数据集中每个记录的离群程度;然后,根据每个数据点离群程度,检测出离群数据,从而有效地消除了人为主观因素对离群检测的影响,进一步反映客观事物的本质,并能较好地解释离群点的含义;最后,实验验证了该算法的可行性和有效性。 2、给出一种离群数据挖掘算法(OMBCAS)。首先,引入属性熵与特征属性的概念,并计算特征属性子空间和属性权重;然后,利用异常度的概念,计算子空间离群影响因子,并检测出离群点;最后,实验验证了算法具有不需要人为干预、伸缩性强等优点。

关键词：离群数据信息熵离群度量因子特征属性子空间

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：