检索结果-内蒙古大学图书馆

计算机研究与发展 2005年第12期42卷 2192-2198页

作者：刘学军徐宏炳董逸生王永利钱江波东南大学计算机科学与技术系

发现数据流中的频繁项是数据流挖掘中最基本的问题之一·数据流的无限性和流动性使得传统的频繁模式挖掘算法难以适用·针对数据流的特点,在借鉴FP-growth算法的基础上,提出了一种数据流频繁模式挖掘的新方法:FP-DS算法·... 详细信息

发现数据流中的频繁项是数据流挖掘中最基本的问题之一·数据流的无限性和流动性使得传统的频繁模式挖掘算法难以适用·针对数据流的特点,在借鉴FP-growth算法的基础上,提出了一种数据流频繁模式挖掘的新方法:FP-DS算法·算法采用数据分段的思想,逐段挖掘频繁项集,用户可以连续在线获得当前的频繁项集,可以有效地挖掘所有的频繁项集,算法尤其适合长频繁项集的挖掘·通过引入误差ε,裁减了大量的非频繁项集,减少了数据的存储量,也能保证整个数据集中项目集支持度误差不超过ε·分析和实验表明算法有较好的性能·

关键词：数据流频繁模式 FP—DS算法流数据挖掘

来源：评论

学校读者我要写书评

暂无评论

数据流频繁模式挖掘及数据预测算法研究

数据流频繁模式挖掘及数据预测算法研究

引用

作者：陈辉华中科技大学

学位级别：博士

在过去的几年里，数据流广泛出现在传感器网络、金融证券管理、网络监控、Web日志以及通信数据在线分析等新型应用领域中。由于数据流中数据的规模一般都十分庞大、且增长迅速，因此，有限的存储空间中根本无法完整地保存数据流上的全... 详细信息

在过去的几年里，数据流广泛出现在传感器网络、金融证券管理、网络监控、Web日志以及通信数据在线分析等新型应用领域中。由于数据流中数据的规模一般都十分庞大、且增长迅速，因此，有限的存储空间中根本无法完整地保存数据流上的全部数据，这给数据流上的数据处理带来了巨大的挑战。此外，由于数据流数据的连续性与流动性，随着新的流数据连续到达，数据流所包含的知识信息总是在连续不断地变化。而对于实际的数据流应用而言，挖掘出数据流上知识的变化趋势往往比挖掘知识本身更为重要。因此，人们往往更希望挖掘出数据流上最近的某个滑动时间窗口内交易数据所包含的知识信息。挖掘数据流上的频繁模式在数据流的应用中有着重要研究意义，例如：在网络监控中，对应于异常流量的频繁模式可能意味着存在网络攻击或者网络拥塞；在商业销售记录中，频繁模式总是反映那些热门销售的产品以及它们之间的关联关系；而在传感器网络数据管理中，挖掘其中的频繁数据集可以有助于去估计那些丢失的数据值。然而，由于流数据的特点，传统的静态数据库挖掘方法不可能直接应用流数据的频繁模式挖掘，而必须研究新的数据流频繁模式挖掘方法。数据流上的频繁模式挖掘算法要求能够在单遍扫描流数据的基础上增量处理连续不断到达的流数据，并用尽可能小的代价维护数据流上最新的数据大纲。此外，随着新到达的流数据进入滑动时间窗口，窗口内最古老的历史数据将从窗口中移出而变得过期。为了消除历史流数据对当前挖掘结果的影响，数据流滑动时间窗口内频繁模式挖掘方法还需要定期删除数据大纲上维护的历史流数据的模式信息，从而提高模式挖掘的正确性。数据流最近的频繁模式挖掘方法应用模式树(RFP-tree)增量地维护数据流上新到达流数据所包含的模式信息，并周期性地对模式树进行剪枝，删除那些过期流数据所包含的模式分枝以及不频繁的模式分枝。RFP-tree以维护数据流上最近的不多于2N个流数据所包含的模式信息为代价，保守地维护了数据流上最近的大小为N的滑动时间窗口内流数据的全部频繁模式信息。方法还应用保守的计算策略计算模式在滑动时间窗口内的近似支持数，而由保守计算策略得到的模式的近似支持数总是不小于模式的真实支持数的，因此，方法总能够保证滑动时间窗口内模式挖掘的覆盖率达到100%。为了适应性维护数据流上大小可变的滑动时间窗口内的频繁模式，数据流任意大小滑动时间窗口内频繁模式挖掘方法应用滑动窗口树(SW-tree)增量维护数据流滑动时间窗口内的模式信息。同时，它还应用时间衰减模型衰减流数据所包含模式支持数的权重，并以此来区分新产生流数据与历史流数据所包含的模式。为了保证模式挖掘的覆盖率和精度，方法分析了时间衰减模型对模式支持数的影响，并给出了衰减因子在保证模式挖掘正确性条件下的边界值。并且，当滑动时间窗口的大小改变时，仅需重新设定合适的衰减因子的值即可重新保证在新的滑动时间窗口下模式挖掘的正确性。在实际的数据流应用中，由于流数据的连续不断变化导致流数据所包含的模式信息也在不断地变化，因此很难事先估计数据流上的频繁模式信息并给出一个合适的最小支持度门限。数据流滑动时间窗口内Top-K频繁模式挖掘方法提供了一个更加直接的挖掘数据流上频繁模式的方法。它无需用户提供最小支持度门限，而仅需用户提供预期的频繁模式集的大小K。它使用Chernoff边界理论估计窗口内第K频繁模式的支持度，并将其用于动态维护窗口内潜在频繁的模式信息。根据理论分析，Chernoff边界理论能够为模式挖掘的正确性提供了概率保证。研究数据流上的历史数据的变化趋势，并预测数据流在未来时间窗口内的可能值是数据流挖掘的一项重要工作。基于马尔可夫模型的数据流预测查询算法以实数数据流为例，通过将实数数据流上大小可能无限的流数据空间映射到一个有限的流数据状态空间中，从而将数据流上的流数据变化序列转变成为一个流数据状态变迁序列。通过使用数据流状态变迁有向图(SSTD)维护流数据状态变迁序列的统计信息，可以得到流数据状态变迁的概率矩阵，从而应用马尔可夫模型可以去预测数据流在未来时刻的可能值。

关键词：数据流流数据挖掘滑动时间窗口频繁模式 Top-k频繁模式预测查询

来源：评论

学校读者我要写书评

暂无评论

一种基于用户兴趣转移挖掘的流式推荐算法

引用

计算机应用与软件 2020年第1期37卷 59-65页

作者：陈建宗刘永坚解庆唐伶俐武汉理工大学计算机科学与技术学院

推荐系统是当下解决信息超载的有效方法,但由于用户兴趣转移现象的存在,传统推荐系统在时间跨度较长的应用场景下表现并不理想。为了解决该问题,提出一种基于用户兴趣转移挖掘的流式推荐算法。根据资源的种类信息构建资源特征向量,采取... 详细信息

推荐系统是当下解决信息超载的有效方法,但由于用户兴趣转移现象的存在,传统推荐系统在时间跨度较长的应用场景下表现并不理想。为了解决该问题,提出一种基于用户兴趣转移挖掘的流式推荐算法。根据资源的种类信息构建资源特征向量,采取增量更新方法,根据流数据实时更新模型参数,避免了传统增量矩阵分解模型中的拟合残差扩大问题。模型结合提出的两种新型遗忘机制,能够有效区分用户历史数据中的临时偏好与长期偏好,从而在遗忘用户过时数据的同时,保留用户的长期偏好。在电影推荐数据集中进行实验,证明了该算法的有效性。

关键词：推荐系统兴趣转移流数据挖掘增量矩阵分解

来源：评论

学校读者我要写书评

暂无评论

改进的多数据流协同频繁项集挖掘算法

引用

计算机应用 2016年第7期36卷 1988-1992页

作者：王鑫刘方爱山东师范大学信息科学与工程学院济南250014 山东省分布式计算机软件新技术重点实验室(山东师范大学) 济南250014

针对已有的多数据流协同频繁项集挖掘算法存在内存占用率高以及发现频繁项集效率低的问题,提出了改进的多数据流协同频繁项集挖掘(MCMD-Stream)算法。首先,该算法利用单遍扫描数据库的字节序列滑动窗口挖掘算法发现数据流中的潜在频繁... 详细信息

针对已有的多数据流协同频繁项集挖掘算法存在内存占用率高以及发现频繁项集效率低的问题,提出了改进的多数据流协同频繁项集挖掘(MCMD-Stream)算法。首先,该算法利用单遍扫描数据库的字节序列滑动窗口挖掘算法发现数据流中的潜在频繁项集和频繁项集;其次,构建类似频繁模式树(FP-Tree)的压缩频繁模式树(CPTree)存储已发现的潜在频繁项集和频繁项集,同时更新CP-Tree树中每个节点生成的对数倾斜时间表中的频繁项计数;最后,通过汇总分析得出在多条数据流中多次出现的且有价值的频繁项集,即协同频繁项集。相比A-Stream和HStream算法,MCMD-Stream算法不仅能够提高多数据流中协同频繁项集挖掘的效率,并且还降低了内存空间的使用率。实验结果表明MCMD-Stream算法能够有效地应用于多数据流的协同频繁项集挖掘。

关键词：流数据挖掘多数据流滑动窗口频繁项集协同频繁项集

来源：评论

学校读者我要写书评

暂无评论

MMCKDE:基于数据流的m-混合聚类核概率密度估计

引用

计算机研究与发展 2014年第10期51卷 2277-2294页

作者：许敏邓赵红王士同史荧中江南大学数字媒体学院江苏无锡214122 无锡职业技术学院物联网技术学院江苏无锡214121

数据流挖掘应用对时间、空间有着较高的要求,因而传统的密度估计方法,如核密度估计法、压缩集密度估计法等并不适用于数据流密度估计.提出一种新颖的面向在线数据流的m-混合聚类核密度估计(m-mixed clustering kernel density estimatio... 详细信息

数据流挖掘应用对时间、空间有着较高的要求,因而传统的密度估计方法,如核密度估计法、压缩集密度估计法等并不适用于数据流密度估计.提出一种新颖的面向在线数据流的m-混合聚类核密度估计(m-mixed clustering kernel density estimation,MMCKDE)方法,该方法通过创建MMCKDE节点,用固定个数的混合聚类核获得聚类信息,以代替其他密度估计方法中的所有核.针对数据量不断增加的情况,通过计算Kullback Leibler(KL)距离进行核合并,可进一步以更紧凑的形式表示概率密度估计信息.较之于其他一些方法只能估计整段数据流的密度,MMCKDE方法最终获得的模型不仅适用于整段数据流,还适用于任意时间段上的密度估计.MMCKDE算法同SOMKE算法在不同基准数据集及真实数据集上进行密度估计精度和运行时间的比较.实验结果表明,MMCKDE算法具有更好的性能.

关键词： m-混合聚类核核密度估计概率密度函数 Kullback Leibler距离流数据挖掘

来源：评论

学校读者我要写书评

暂无评论

数据挖掘技术在舰载信息系统中的应用研究

引用

舰船科学技术 2005年第4期27卷 62-65页

作者：曹强潘维光海军大连舰艇学院辽宁大连116018

数据库在舰载信息系统中使用的越来越多,从大量的数据中提取有价值的海战信息,是舰载信息系统追求的目标之一。而数据挖掘(DM)技术是知识发现KDD的一个关键步骤,将DM技术应用于舰载信息系统有着重要的现实意义。本文对典型的数据挖掘过... 详细信息

数据库在舰载信息系统中使用的越来越多,从大量的数据中提取有价值的海战信息,是舰载信息系统追求的目标之一。而数据挖掘(DM)技术是知识发现KDD的一个关键步骤,将DM技术应用于舰载信息系统有着重要的现实意义。本文对典型的数据挖掘过程模型进行了介绍,阐述其组成结构及各部分主要功能,着重分析了该技术在舰载信息系统中的应用和目前应用该技术存在的问题。

关键词：数据挖掘舰栽信息系统信息优势流数据挖掘

来源：评论

学校读者我要写书评

暂无评论

web流数据聚类挖掘的研究和应用

web流数据聚类挖掘的研究和应用

引用

作者：龚静贵州大学

学位级别：硕士

流数据逐渐成为近年来较为重要的数据类型，流数据是大量、快速、时变、不可预知，流数据的查询结果是近似的，仅能反映数据的总体特征。因此流数据中的数据查询处理技术需要被重新考虑，这开拓了一个崭新的研究方向。另外，互联网的发... 详细信息

流数据逐渐成为近年来较为重要的数据类型，流数据是大量、快速、时变、不可预知，流数据的查询结果是近似的，仅能反映数据的总体特征。因此流数据中的数据查询处理技术需要被重新考虑，这开拓了一个崭新的研究方向。另外，互联网的发展，使得web站点必须根据用户的兴趣、访问频度、访问时间而动态地调整页面结构，以满足用户的需求。数据挖掘不仅仅是获取信息的过程，更关注发现潜在有用的知识。数据挖掘技术应用到web流数据的分析中，将提高了web流数据查询的可实用性。而如何在流数据中进行有效聚类，是一个吸引研究者很大注意力的问题。本文主要研究了web流数据聚类挖掘问题。首先，研究了web流数据聚类挖掘算法。目前的典型流数据聚类算法，它们时间复杂度低、时效性好，具有好的可扩展性，但都是基于欧氏空间的算法，只能适用于纯数值属性数据，不能适用于混合属性的数据，而web应用领域中的数据往往具有混合属性。本文提出了一种非欧氏空间流数据聚类技术：对web流数据的分析处理使用模糊数学的方法进行聚类分析，称为模糊聚类分析。并对web流数据的相异度分类度量，定量属性使用欧氏距离和曼哈坦距离度量；定性属性可以采用hamming距离度量。web流数据模糊聚类算法的主要步骤有两步：第一步，运用最小距离聚类算法进行聚类，构成一个初始类。第二步，对基于最小距离聚类算法进行聚类所得到的初始簇，运用密度聚类方法进行聚合或分割，使得聚类集合稳定。最后，采用某远程教育网站的真实日志数据进行测试，聚类挖掘了用户群体类，对挖掘的类进行模式分析和规则发现，为改进网站结构提供决策，为进行web日志的频繁访问路径挖掘、web页面聚类挖掘提供原始数据。实践证明：该算法是有效的、快速的。

关键词：流数据流数据挖掘 web日志模糊聚类算法用户群体聚类聚类分析

来源：评论

学校读者我要写书评

暂无评论

一种流数据频繁模式挖掘算法的研究与实现

一种流数据频繁模式挖掘算法的研究与实现

引用

作者：姜军晓大连理工大学

学位级别：硕士

数据挖掘，是数据库研究中的一个很有应用价值的领域，目的是从大型数据库中提取隐含的、人们事先不知道的、潜在有用的信息或模式。经过近十几年的努力，已经相当成熟。然而，随着电子商务、传感器网络、股票数据分析等的应用，提出一... 详细信息

数据挖掘，是数据库研究中的一个很有应用价值的领域，目的是从大型数据库中提取隐含的、人们事先不知道的、潜在有用的信息或模式。经过近十几年的努力，已经相当成熟。然而，随着电子商务、传感器网络、股票数据分析等的应用，提出一种新的数据模型——流数据。这些数据源源不断地到来，只能按顺序进行处理，因此在流数据环境中进行挖掘是一项具有挑战性的工作，在数据库应用领域有很高的研究价值。本文主要是对流数据中的频繁项集的挖掘进行研究。分析了流数据模型与传统的数据模型的区别、主要的流数据处理技术、当前的挖掘任务等。针对如何在流数据上挖掘频繁模式这一课题，分析了经典的流数据挖掘算法FP-stream算法，结合流数据分段理论和滑动窗口技术，采用批处理式挖掘方式，进行基于滑动窗口的流数据频繁模式挖掘算法DSFP-SW(Data Stream Frequent Pattern based-on Sliding Window)的研究。 DSFP-SW算法是一种批处理式的挖掘算法，先将流数据分段，每段作为一个滑动窗口，再将滑动窗口划分为几个基本的窗口，利用改进的频繁模式挖掘算法，计算每个基本窗口的临界频繁项集。为了适应流数据快速、大量的特性，在频繁模式树的基础上，改进了一种新的前缀树结构DSFP-SW-tree来存储每个基本窗口的临界频繁项集，树中的每个结点代表了一个频繁项集。随着滑动窗口的更新，更新DSFP-SW-tree。并每隔一段时间调用剪枝算法，快速地挖掘滑动窗口中所有的频繁模式。通过试验把该算法于经典的FP-Stream算法进行对比，结果表明，本文给出的算法在时间和空间上优于FP-Stream算法，适合流数据挖掘。

关键词：数据挖掘流数据挖掘频繁模式滑动窗口

来源：评论

学校读者我要写书评

暂无评论

基于偏离特征的离群点挖掘方法研究

基于偏离特征的离群点挖掘方法研究

引用

作者：尹新亮哈尔滨工程大学

学位级别：硕士

数据挖掘是一个多学科交叉领域,涵盖了机器学习、数据库、统计学、知识系统、人工智能、高性能计算等学科。从广义上讲,数据挖掘是运用适当的算法,对数据模式进行分析研究,以求从大量的模式中发现重要的知识。离群点挖掘是数据挖掘的一... 详细信息

数据挖掘是一个多学科交叉领域,涵盖了机器学习、数据库、统计学、知识系统、人工智能、高性能计算等学科。从广义上讲,数据挖掘是运用适当的算法,对数据模式进行分析研究,以求从大量的模式中发现重要的知识。离群点挖掘是数据挖掘的一个重要研究方向,着重研究罕见稀有的事件,通过检测和分析,挖掘出隐含在其中的及其有价值的知识。离群点挖掘广泛的应用在日志分析、入侵检测、质量控制等现实生活领域,推动了科学进步,促进了社会发展。在静态数据集环境中,本文从偏离特征(局部密度)的角度,提出了一种快速LOF检测算法。传统LOF算法基于整个数据集来计算各个数据点的局部离群因子,计算量大,时间复杂度高。为了解决这个问题,提高检测效率,该算法将数据空间划分为网格,基于网格的质心来计算数据点的局部离群因子。由于网格的数量少于数据点的数量,在可接受的误差下,明显降低了时间复杂度,但该算法在低中维大数据集中比较有效,对高维数据的检测效果不理想。此外,该算法还可以有效地用于实时离群值检测,每次向数据集添加新数据点时,可以利用现有数据点的网格结构,仅需要识别数据点的网格位置,而不需要进一步的计算新数据点的局部离群因子。通过实验对比传统LOF算法和本文提出的算法,结果表明在实现和传统LOF算法基本相近的检测精度时,该算法明显减少了计算时间,提高了效率。在时序数据流环境中,本文从偏离特征的角度,提出了一种快速的IncLOF检测算法。在检测数据流中的离群点时,传统IncLOF算法需要保存数据流中所有先前的数据点来计算新数据点的局部离群因子,由于内存的限制,这是不切实际的。为了去解决这个问题,该算法通过汇总、归并、插值修改措施,积累数据流的历史信息并保存在有限内存中,来计算新数据点的局部离群因子。通过实验对比本文提出的算法和传统IncLOF算法,结果表明在实现和传统IncLOF算法相近的检测精度时,该算法明显减少了计算时间和内存消耗,并且有很好的可扩展性。

关键词：流数据挖掘离群点检测局部离群因子偏离特征 LOF算法

来源：评论

学校读者我要写书评

暂无评论

基于数据流的实时处理框架模型

引用

计算机工程 2005年第16期31卷 59-60,63页

作者：李庆华陈球霞蒋盛益华中科技大学国家高性能计算中心武汉430074

提出了一个新型的基于大型数据流的实时处理模型,其处理模式主要是以实时存储和实时分析为主要目标,利用回归、聚类、实时分析等方法为数据流建立了一个完整的处理模型。该模型是对现有模型的完善和改进,从而在有限的存储空间中能切实... 详细信息

提出了一个新型的基于大型数据流的实时处理模型,其处理模式主要是以实时存储和实时分析为主要目标,利用回归、聚类、实时分析等方法为数据流建立了一个完整的处理模型。该模型是对现有模型的完善和改进,从而在有限的存储空间中能切实可行地对快速的流数据做出实时响应。详细阐述了模型的框架建立和处理用户需求的过程与算法。

关键词：回归聚类实时处理流数据挖掘

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：