检索结果-内蒙古大学图书馆

作者：王燕大庆石油学院

学位级别：硕士

在数据挖掘和数据分析研究领域中,最近出现了一个新的研究方向,即数据流的挖掘与分析。在网络监控、入侵检测、情报分析、金融服务、股票交易、电子商务、电信、Web页面访问和科学研究等众多领域中,数据以流的形式出现。由于数据流的特... 详细信息

在数据挖掘和数据分析研究领域中,最近出现了一个新的研究方向,即数据流的挖掘与分析。在网络监控、入侵检测、情报分析、金融服务、股票交易、电子商务、电信、Web页面访问和科学研究等众多领域中,数据以流的形式出现。由于数据流的特殊性,短时间内有大量数据连续到达,这些数据具有随时间动态变化的趋势,怎样对这些数据流使用有限存储空间进行快速处理以获取有用信息,为数据挖掘及其应用研究带来了新的机遇和挑战,也具有很重要的意义。油田计算机网络建设正日趋完善,油田开发和生产科研工作中的大量信息已经实现网上传输,信息共享的数量和质量得到大幅度提高,开发基于多服务器、大信息量的数据库信息网络监控系统,提供多方位监控信息建设质量和管理过程的手段,及时全面准确地了解掌握每天用户对数据库的使用情况,使网上服务器中的数据信息管理变得可视和透明,通过计算机程序运行取代传统的人工信息管理模式,是迫切需要解决的问题。本论文主要研究了以下几个方面的内容: (1) 通过对国内外数据流技术系统的研究,总结出关于数据流、数据流查询、数据流挖掘以及数据流管理系统(DSMS)的基本特点、模型以及关键技术等。 (2) 大庆油田采油二厂各生产部门每天用 PDPMIS 系统连续的向网络中心传送大量生产数据,本论文把流动的数据集看做一个特殊的数据流,把数据流管理系统(DSMS)做为传统数据库系统的扩展。提出了一个基于数据流挖掘的油田网络监控系统模型,模型添加了用户接口、数据监控、查询处理器、存储区等系统模块,其中在数据流挖掘模块里通过 Operators 的连接,系统能够通过过滤、聚集、分类,或者忽略某些特定的数据元素。 (3) 油田生产中,更为感兴趣的问题是近来哪些模式反映较为异常,本论文研究了数据流异常模式的提取。设定的域值条件为采油厂多年的经验值,采用 XML 结合数据流系统的方式增强系统的可扩展性。同时介绍了一个数据挖掘环境-YaLE (Yet Another LearningEnvironment) 和针对时间序列数据流处理实时和模拟的概念漂移的一个插件工具 Conceptdrift plugin。并给出了一个集成学习器 KBS-数据流(Bayesian Boosting for Streams)实验的样例以及一个数据流可适应的时间窗口配置文件。 (4) 介绍了油田网络监控系统的设计与实现,系统将报警条件设定的域值保存到 XML文件里,采用 DOM 访问 XML 文件;利用了 ORACLE 的审计、触发器、JOB 等功能结合JAVA 程序对网络中数据库操作情况、生产数据质量等进行全面的监控,并对异常情况进行报警提示,为兼顾时间和速率以及实际的需求,结合了实时和延时的方式,采用分层报警。以实际项目为依托,对流数据管理系统和流数据挖掘研究提供了一些经验和思考。

关键词：数据流数据流查询数据流挖掘 DSMS 油田网络监控系统模型数据流异常模式 Yale Concept drift插件

来源：评论

学校读者我要写书评

暂无评论

数据流查询处理及在传感器采样系统中的应用

数据流查询处理及在传感器采样系统中的应用

引用

作者：姚丽娟山东大学

学位级别：硕士

我们所讨论的数据不再是具有持久关系的数据集合,而是由瞬时的、多重的、持续的、迅速的、时间变化的数据形成的数据流.由于具有了以上这些特性,而数据管理的现状却不能满足数据流处理的要求,于是针对数据流管理提出了新的研究方向.近... 详细信息

我们所讨论的数据不再是具有持久关系的数据集合,而是由瞬时的、多重的、持续的、迅速的、时间变化的数据形成的数据流.由于具有了以上这些特性,而数据管理的现状却不能满足数据流处理的要求,于是针对数据流管理提出了新的研究方向.近来的很多应用中,数据以持续的数据流而不是固定数据集合的形式存在的.数据流的存在使得数据处理的很多方面需要被重新考虑了.我们的最终目标是建立一个完全的数据流管理系统(DSMS),其功能性和性能类似于传统数据库管理系统,但是它部分或完全允许管理的数据是持续的、有可能是非常迅速的数据流.在这样的系统中,传统的一次性查询被持续的查询扩展或取代了.在数据流查询方面,近来的工作都集中在处理新到达的数据和实时的为用户提供持续的结果流.该文讨论了数据流的发展历史、数据流的形式化定义、数据流与传统数据源的区别以及数据流的特点等内容,着重讨论数据流的查询技术和方法,包括数据的内存管理、查询算法、算法优化等问题,并提出了关于传感器采样的数据流的查询.同时,我们试图提供在此领域的总的观点及其相关的和目前的工作.最后介绍应用了数据流查询技术的管道煤气管网数据监测系统,进一步说明由传感器采样数据产生的数据流查询的设计思想和实现方案.该文的主要贡献是提出了一种方便实用的数据流查询算法(我们称之为SMART查询算法),该算法将数据源和查询都看作\"流\",并且输出查询结果数据流.通过对查询条件和数据项进行管理,用queryID和tupleID对他们分别进行标识,能够实现条件和数据的自动匹配,实时的生成查询结果,并将结果同样以\"流\"的形式进行输出.实验证明,该算法有效的解决了数据流查询速度和对存储空间的要求,算法合理、实现方便.

关键词：数据流数据流管理系统数据流查询传感器数据采集

来源：评论

学校读者我要写书评

暂无评论

传感器采样数据流查询技术

引用

计算机工程与应用 2004年第4期40卷 208-210页

作者：姚丽娟李庆忠济南天汇智能卡信息技术研究中心济南250100 山东大学计算机科学与技术学院济南250100

这里所讨论的数据不再是具有持久关系的数据集合,而是形成了瞬时的、多重的、持续的、迅速的、时间变化的数据流。由于具有了这些特性,数据流处理现状对数据管理的很多方面提出了新的研究方向。文章着重讨论数据流的查询技术和方法,特... 详细信息

这里所讨论的数据不再是具有持久关系的数据集合,而是形成了瞬时的、多重的、持续的、迅速的、时间变化的数据流。由于具有了这些特性,数据流处理现状对数据管理的很多方面提出了新的研究方向。文章着重讨论数据流的查询技术和方法,特别提出了关于传感器采样数据流的查询。最后,介绍应用了数据流查询技术的管道煤气管网数据监测系统,进一步说明由传感器采样数据产生的数据流查询的设计思想和实现方案。

关键词：数据流数据流查询传感器数据采集

来源：评论

学校读者我要写书评

暂无评论

基于小波方法的数据流查询计算研究与应用

引用

计算机工程与应用 2006年第23期42卷 158-160,175页

作者：陈昕牛建强陈维兴北京信息工程学院计算机信息系统系北京100101 河南科技大学电子与信息工程学院洛阳471039

许多领域中大量应用所产生的数据流的处理已成为聚集数据处理的一个重要方面。文章在对数据流查询计算进行深入研究的基础上,分析了该情形下聚集查询语言与重写的特征,给出了一类有效的快速查询计算模型。该计算模型的核心是运用小波分... 详细信息

许多领域中大量应用所产生的数据流的处理已成为聚集数据处理的一个重要方面。文章在对数据流查询计算进行深入研究的基础上,分析了该情形下聚集查询语言与重写的特征,给出了一类有效的快速查询计算模型。该计算模型的核心是运用小波分析方法,通过建立有效的小波提纲来提高查询处理的效率。最后,在实际应用环境下对所给出的模型进行了应用分析。

关键词：快速计算模型数据流查询聚集计算小波方法

来源：评论

学校读者我要写书评

暂无评论

WSN数据流查询的负载定向扩散算法

引用

计算机工程与设计 2010年第1期31卷 64-67页

作者：刘嘉孟凡荣闫秋艳中国矿业大学计算机科学与技术学院江苏徐州221116

为了弥补目前无线传感网络的数据传递算法在负载调整方面的不足,通过对定向扩散算法的研究分析,并且结合无线传感网络自身的特点,提出了一种无线传感网络数据流传递的优化算法——负载定向算法。该算法通过调整数据流在无线传感网络中... 详细信息

为了弥补目前无线传感网络的数据传递算法在负载调整方面的不足,通过对定向扩散算法的研究分析,并且结合无线传感网络自身的特点,提出了一种无线传感网络数据流传递的优化算法——负载定向算法。该算法通过调整数据流在无线传感网络中的传递路径,达到网络中各节点的负载平衡,降低了数据在无线传感网络中传递的丢包率,从而可以改善数据流查询的查全率。通过对实验结果的分析比较验证了该算法的可行性。

关键词：无线传感网络数据流查询查全率负载平衡传递路径

来源：评论

学校读者我要写书评

暂无评论

基于STORM的数据流查询分析系统的设计与实现

基于STORM的数据流查询分析系统的设计与实现

引用

作者：高磊哈尔滨工业大学

学位级别：硕士

数据流分析一直以来都是研究热点,特别是近十来年大数据的发展,使得数据流分析越来越重要和流行。就目前来看,简便易用的数据流分析系统还是比较少而且上手不易,需要相关的专业人员才行。本文以实验室项目的数据流分析系统为背景,阐述... 详细信息

数据流分析一直以来都是研究热点,特别是近十来年大数据的发展,使得数据流分析越来越重要和流行。就目前来看,简便易用的数据流分析系统还是比较少而且上手不易,需要相关的专业人员才行。本文以实验室项目的数据流分析系统为背景,阐述了一个基于storm的通用数据流分析系统。本文针对以上问题,通过分析数据流开发的需求提出并实现一种类似sql的数据流分析语言scql,并将生成的逻辑应用部署到storm上。该系统的特点是简单易用,只要懂sql并且简单学习scql语法即可使用,而且不需要去管理大量的配置信息。经过大量的测试表明,该系统是可行的且有效的。整个系统分为基础模块、适配器模块、编译模块三个模块,基础模块用来提供数据的处理类,适配器模块用来将逻辑应用部署到storm上,编译模块用来将scql语句经过语法分析、语义分析、算子的拆分合并和算子优化,最后编译构建一个逻辑应用。语法分析从抽象语法树中提取每个叶节点的信息然后进行语义分析,将信息重新组织创建表的元信息、语句分析结果和表达式的描述,下一步是根据语句进行算子拆分并创建执行器,然后生成物理执行计划。总结来说,本文介绍了数据流的背景和相关技术分析,在此基础上分析了系统的需求然后提出的总体架构和设计方案。在论文的核心部分详细阐述了系统的设计与实现,并且给出了系统的测试案例。

关键词：数据流分析数据流查询 scql 算子 storm

来源：评论

学校读者我要写书评

暂无评论

带路径约束的最短路问题与数据流查询技术研究

带路径约束的最短路问题与数据流查询技术研究

引用

作者：张喜国防科学技术大学

学位级别：硕士

最短路径问题是GIS中空间分析的经典问题之一,在现代交通网络分析应用中占有重要的地位,带有路径约束的最短路径问题是面向复杂交通网络模型的一种新型的最短路径问题,具有良好的研究价值和应用价值。数据流查询处理是伴随传感器网络等... 详细信息

最短路径问题是GIS中空间分析的经典问题之一,在现代交通网络分析应用中占有重要的地位,带有路径约束的最短路径问题是面向复杂交通网络模型的一种新型的最短路径问题,具有良好的研究价值和应用价值。数据流查询处理是伴随传感器网络等应用的发展而兴起的新问题,在现代数据处理和信息系统建设中逐渐成为研究热点。本文结合某“器材综合信息管理系统”的实际应用需求对带有路径约束的最短路径问题和面向传感器网络的数据流查询处理技术进行了集中研究和探讨。主要工作如下: (1)针对带有路径约束的最短路径问题,深入研究了带有路径约束道路网模型的建立,原地图道路剪断、路径约束的实现等关键问题;在对DIKB算法改进的基础上,通过引入索引,高效实现了带有路径约束的最短路径算法。 (2)针对面向传感器网络的数据流查询处理技术,基于滑动窗口连续查询分别提出了时间片驱动的连接查询和聚集查询的算法,实验数据说明,与直观处理算法相比,本文所提出方法具有较明显的性能改善。最后,论文结合应用背景,将所提出方法在一个基于GIS的器材综合信息管理系统中进行了实现,描述了该系统结构设计、应用模式、功能实现等内容,同时对关键功能模块、用户交互界面进行了介绍。

关键词： GIS 最短路径 DIKB算法路径约束数据流查询

来源：评论

学校读者我要写书评

暂无评论

基于XML的数据流查询算法研究

基于XML的数据流查询算法研究

引用

作者：朱二周安徽大学

学位级别：硕士

随着XML数据被越来越广泛地使用,人们对XML数据查询提出了越来越高的要求。前期的研究主要集中在XPath的查询处理上。XPath相对比较简单,但表达能力有限,比如不能表示连接操作等。作为W3C的推荐标准,XQuery的表达能力比XPath强大很多,同... 详细信息

随着XML数据被越来越广泛地使用,人们对XML数据查询提出了越来越高的要求。前期的研究主要集中在XPath的查询处理上。XPath相对比较简单,但表达能力有限,比如不能表示连接操作等。作为W3C的推荐标准,XQuery的表达能力比XPath强大很多,同时XQuery也比XPath复杂很多。XQuery兼有结构化查询语言和过程化查询语言的特点。一方面,XQuery的FLWR子句在一定程度上类似于SQL的select-from-where子句是XQuery的最重要的表达式;另一方面XQuery支持表达式的嵌套,支持诸如条件表达式(IF-THEN-ELSE),循环表达式(FOR),返回值(RETURN)等,还有变量和谓词的作用域问题,这些都是一种编程语言的重要特征。因此关于如何有效地进行XQuery查询,目前是一个研究热点。　　然而,XQuery查询技术虽然在处理传统的XML数据功能强大,然而它没有充分考虑数据流的问题,即待处理的数据连续不断的到达XQuery处理机。这些数据可能来自于数据采集设备或者是一个运行很长时间的计算仿真。这些XML数据流的长度远远超过了当前计算机的存储容量。从而使得不可能对这些数据进行存储(诸如排序等加工操作),以便在处理这些数据时运算更加简便。然而在特定情况下,要求对数据流进行一遍遍历或计算之后,就能得到正确的答案。　　本文首先介绍了XML查询的相关概念、内容、特点和作用。阐述了XML的相关技术,分析XQuery查询技术,详细说明了XQuery查询技术的优缺点。然后在目前研究的基础上分析和总结了一种XQuery查询的数据模型,并提出了一种如何在数据流上有效的执行XQuery查询的查询机制。关于这种查询机制,本文将从三个方面来进行:(1)利用一些优化方法(如流数据流程图、水平合并和垂直合并技术等)来对XML数据流,XQuery查询进行转换和优化;(2)提出了一种判定方法来决定那些情况下的XML数据流能被一遍遍历处理,那些情况下不能进行一遍遍历处理,以及经过一遍遍历能否能得到正确的结果;(3)在以上的工作的基础上利用改进的XQuery查询算法对数据流进行一遍查询。　　在文章的最后,针对文中提出的XQuery查询机制存在的一些问题(比如在一些特定的情况下不能对数据流进行一遍遍历查询等),提出今后进一步的工作。

关键词： XML数据查询处理数据流查询 XQuery查询遍历查询

来源：评论

学校读者我要写书评

暂无评论

传感器采样数据流查询技术

传感器采样数据流查询技术

引用

全国第十五届计算机科学与技术应用学术会议

作者：姚丽娟李庆忠济南天汇智能卡信息技术研究中心山东大学计算机科学与技术学院

我们所讨论的数据不再是具有持久关系的数据集合,而是形成了瞬时的、多重的、持续的、迅速的、时间变化的数据流。由于具有了这些特性,数据流处理现状对数据管理的很多方面提出了新的研究方向。本文着重讨论数据流的查询技术和方法,特... 详细信息

我们所讨论的数据不再是具有持久关系的数据集合,而是形成了瞬时的、多重的、持续的、迅速的、时间变化的数据流。由于具有了这些特性,数据流处理现状对数据管理的很多方面提出了新的研究方向。本文着重讨论数据流的查询技术和方法,特别提出了关于传感器采样数据流的查询。最后,介绍应用了数据流查询技术的管道煤气管网数据监测系统,进一步说明由传感器采样数据产生的数据流查询的设计思想和实现方案。

关键词：数据流数据流查询传感器数据采集

来源：评论

学校读者我要写书评

暂无评论

基于对象异常频度的数据流阈值查询

引用

计算机学报 2013年第8期36卷 1602-1615页

作者：张敬伟金澈清林煜明周傲英华东师范大学软件学院上海市高可信计算重点实验室上海200062 桂林电子科技大学广西可信软件重点实验室广西桂林541004

数据流查询与处理技术广泛应用在金融系统等诸多领域中,银行卡交易系统中存在的由终端复用所导致的不规范交易即是一个典型案例.此类不规范交易存在两个特点:(1)对象频繁出现;(2)对象的值序列频繁波动.然而,现有的频繁项挖掘算法仅考虑... 详细信息

数据流查询与处理技术广泛应用在金融系统等诸多领域中,银行卡交易系统中存在的由终端复用所导致的不规范交易即是一个典型案例.此类不规范交易存在两个特点:(1)对象频繁出现;(2)对象的值序列频繁波动.然而,现有的频繁项挖掘算法仅考虑第一个特点,无法有效解决问题,亟需开发新技术进行检测.文中首先形式化地定义了这类不规范交易查询,再设计了多个创新算法进行处理.此外,文中还将工作扩展到滑动窗口模型以处理数据流演化问题.理论分析与实验结果均表明所提方法具有较佳性能,空间复杂度与时间复杂度都较低.

关键词：数据流查询元素对采样异常频度滑动窗口

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：