检索结果-内蒙古大学图书馆

计算机科学 2005年第4期32卷 6-10,41页

作者：刘学军徐宏炳董逸生王永利钱江波东南大学计算机科学与技术系

最近,人们已经广泛认识到:在某些新的应用领域中,把数据看作瞬时的数据流比看作持久的关系更为适合。本文首先分析了传统数据库管理系统处理数据流的局限性,然后分析了三个典型的数据流管理系统的基本实现技术,讨论了当前数据流管理技... 详细信息

最近,人们已经广泛认识到:在某些新的应用领域中,把数据看作瞬时的数据流比看作持久的关系更为适合。本文首先分析了传统数据库管理系统处理数据流的局限性,然后分析了三个典型的数据流管理系统的基本实现技术,讨论了当前数据流管理技术的研究现状和今后的研究方向,最后,给出了一个数据流管理原型系统的体系结构。

关键词：管理技术数据库管理数据流管理应用领域系统处理实现技术管理系统研究方向研究现状体系结构原型系统局限性

来源：评论

学校读者我要写书评

暂无评论

数据流管理系统中适应性查询机制的研究

引用

计算机科学 2005年第7期32卷 112-115页

作者：宋宝燕武珊珊于戈辽宁大学信息科学与技术学院沈阳110036 东北大学信息科学与工程学院沈阳110004

介绍了数据流技术的发展现状,然后讨论了适应性查询在数据管理中的发展演变,特别是在数据流管理中的特殊性。最后,在此基础上,提出了一个支持适应性查询的数据流管理系统RealStream,并详细介绍了其适应性查询处理机制。

关键词：管理系统适应性查询机制数据流管理发展演变数据管理处理机制详细介绍流技术特殊性

来源：评论

学校读者我要写书评

暂无评论

数据流管理与挖掘研究

引用

合肥工业大学学报（自然科学版） 2005年第9期28卷 1157-1162页

作者：倪志伟黄玲李锋刚忻凌合肥工业大学管理学院安徽合肥230009

20世纪末,为适应网络监控、商业交易管理和分析等应用的要求,数据流技术应运而生;该文回顾了近年来国内外在该领域的研究进展,总结了数据流的特点、模型及其算法,对数据流管理和挖掘的关键技术进行了分析,并进一步提出了数据流技术研究... 详细信息

20世纪末,为适应网络监控、商业交易管理和分析等应用的要求,数据流技术应运而生;该文回顾了近年来国内外在该领域的研究进展,总结了数据流的特点、模型及其算法,对数据流管理和挖掘的关键技术进行了分析,并进一步提出了数据流技术研究的方向。

关键词：数据流数据流管理数据流挖掘动态

来源：评论

学校读者我要写书评

暂无评论

数据流管理系统Argus中并行处理机制的设计与实现

数据流管理系统Argus中并行处理机制的设计与实现

引用

作者：黄炎灿北京大学

学位级别：硕士

随着信息技术在金融、交通、军事、生态监测、网络监测等领域的深入应用，需要计算机处理的数据类型和数据量与日俱增。作为一种新的数据类型，数据流在近些年得到了计算机界的广泛关注。由于连续、无界、顺序、时变的特点，数据流上的... 详细信息

随着信息技术在金融、交通、军事、生态监测、网络监测等领域的深入应用，需要计算机处理的数据类型和数据量与日俱增。作为一种新的数据类型，数据流在近些年得到了计算机界的广泛关注。由于连续、无界、顺序、时变的特点，数据流上的查询处理和数据管理与传统的数据库管理系统有很大不同。我们北京大学数据库实验室也在国内率先自主开发了集中式的数据流管理系统 Argus。\n 本文主要研究现有的集中式数据流系统在面临海量查询时计算能力有限情况下的查询处理问题，即协同多个计算单元来构造并行数据流系统。\n 本文首先提出并行流系统的体系结构，并给出运行模式。然后全文重点讨论了并行流系统中采取的并行策略，主要是查询间并行和查询内并行两个层面。关于查询间并行，问题主要是多查询共享，我们分别考虑相同算子和相似算子的情形：对相同的算子，要采取最恰当的共享执行顺序；至于相似的算子，我们针对选择算子和窗口算子这两类最重要的算子分别给出共享算子模式的算法。关于查询内并行，我们考查划分数据流和划分查询这两种策略并分别给出算法。然后我们针对典型的并行处理策略给出一系列验证性实验。文章最后对未来的研究工作做了展望。

关键词：数据流管理并行处理机制查询间并行查询内并行数据库管理

来源：评论

学校读者我要写书评

暂无评论

数据流管理系统中查询优化和负载脱落技术的研究

数据流管理系统中查询优化和负载脱落技术的研究

引用

作者：李茂增北京工业大学

学位级别：硕士

数据流管理系统是实时处理大量、快速、无界的数据流的系统,数据流本身的特点及面向流的应用需求对数据流管理系统实时、高效、稳定的查询需求提出了诸多挑战。本文从系统查询的高效性和稳定性两个角度出发,研究了数据流查询中查询优化... 详细信息

数据流管理系统是实时处理大量、快速、无界的数据流的系统,数据流本身的特点及面向流的应用需求对数据流管理系统实时、高效、稳定的查询需求提出了诸多挑战。本文从系统查询的高效性和稳定性两个角度出发,研究了数据流查询中查询优化和负载脱落两个方面的问题,设计了相应的模型和算法,并实现了一个数据流查询原型系统。\n 针对查询优化,本文从查询共享和查询调度两方面开展工作。查询共享即通过对数据流管理系统中相同或相似的存储结构和处理过程进行共享,达到减少重复存储和计算、提高系统效率的目的。针对数据流存储共享,本文设计了数据流查询过程中中间结果的存储结构,并设计了基于索引的共享队列二级间接存储算法,使得中间结果存储得到一定程度的共享。针对多查询操作共享,本文设计了相同查询操作提取的算法,通过对查询操作中相同计算资源的共享,减少了系统的处理开销。\n 针对查询调度,考虑到操作符在运行时轻重缓急的不同,本文采取为每个操作符设置优先级并根据优先级调度操作符的策略,设计了PriOperator模型,综合考虑了影响操作符优先级的四个因素,并通过为每个因素设定系数的方式,计算得到操作符的优先级并进行调度。然后,本文引入了基于模拟退火算法的人工神经网络方法,以影响系统性能的两个因素作为反馈,对影响操作符优先级的四个因素的待定系数进行学习,并将学习结果运用到操作符优先级的重新计算中,在节省系统存储空间的同时提高了系统查询的效率。\n 对于负载脱落问题,本文以存在连接操作符的情况时基于语义的负载脱落为重点,从负载脱落的时机、数量和位置三个方面展开研究。通过监测系统的负载状态,并在负载达到一定程度时进行预警,在缩小连接操作符滑动窗口的基础上,给出了负载脱落解决方法。同时,本文设计了一种语义学习机制,对相应元组属性进行监测并动态学习元组命中率状况,根据学习的结果确定语义负载脱落的谓词,使得系统负载脱落时能够尽可能提高系统准确性。在负载量减少时,算法能自适应性地删除负载脱落操作符,增加系统查询的准确度。\n 最后,结合本文研究的内容,设计并实现了一个数据流查询系统,作为本文相关设计模型及算法的运行平台。

关键词：数据流管理查询优化负载脱落技术

来源：评论

学校读者我要写书评

暂无评论

数据流管理系统及其相关算法的研究与实现

数据流管理系统及其相关算法的研究与实现

引用

作者：张航黎大连理工大学

学位级别：硕士

传统的数据库管理系统用于处理永久的数据和进行瞬时的查询。然而，随着网络、电信和传感器技术的发展，出现了一种新的数据处理模型。在这种模型中，出现了一种瞬时流数据上的连续长时间的查询。传统数据库存储的是相对静态的记录集，... 详细信息

传统的数据库管理系统用于处理永久的数据和进行瞬时的查询。然而，随着网络、电信和传感器技术的发展，出现了一种新的数据处理模型。在这种模型中，出现了一种瞬时流数据上的连续长时间的查询。传统数据库存储的是相对静态的记录集，不是为快速和连续输入的单个数据项设计的，而且它不能直接支持连续查询。传统数据库管理系统在数据流应用方面的限制，引起了国内外很多学者和研究机构的注意。在当今的网络监控、电信数据管理、传感器数据监控等应用中，数据采取的是多维的、连续的、快速的、随时间变化的数据流的形式，对数据的访问也是多次和连续的，并要求即时的响应。研究表明传统的关系数据库系统难于适应这种流式应用的数据管理需求，因此如何有效地开发一种新型的数据库系统来满足这种新的数据处理要求已成为目前研究的一个热点课题。本文的工作就是按照研究课题的要求，针对现实网络速率不稳定这一问题，对数据流管理系统中输入监控、概要构建和负载平衡控制等三个功能模块的算法进行了改善，分别对各自现有的常用算法进行了一些改进，设计了可以根据网速进行自适应变化的直方图算法、分层更新的近似树和基于内存的负载平衡控制方法，使得各功能模块对实际网络可以有一定的适应能力，特别是在网速突然增大的情况下，可以有一个快速、及时的处理反应。最后，再将这些改进应用到一个通用的数据流管理系统PowerStream中，使得其对于现实环境中，网速不稳定情况下的数据流有了更好地管理支持。该系统是参考了国外几个典型的数据流管理系统，按照实际课题的要求进行设计的。经过改进的PowerStream区别于其他DSMS的特点主要包括：对现实中网速不稳定的问题有着较好的自适应能力；支持对网速突变的数据流的操作；具有简便的基于内存资源的负载平衡控制策略。

关键词：数据流连续查询数据流管理功能模块直方图

来源：评论

学校读者我要写书评

暂无评论

数据流管理系统Argus中稳定重优化模块的设计与实现

数据流管理系统Argus中稳定重优化模块的设计与实现

引用

作者：孙婷北京大学

学位级别：硕士

目前，关于数据流系统的研究在传感器网络、金融分析、网络流量监测等领域有着大量应用。而针对数据流本身快速、连续、时变、瞬时等特性，如何为数据流管理系统设计一个具有自适应性的查询处理机制是目前研究的热点。\n 本文提出了... 详细信息

目前，关于数据流系统的研究在传感器网络、金融分析、网络流量监测等领域有着大量应用。而针对数据流本身快速、连续、时变、瞬时等特性，如何为数据流管理系统设计一个具有自适应性的查询处理机制是目前研究的热点。\n 本文提出了一种基于数据流周期特性的稳定重优化机制。数据流上的查询大都是连续查询，需要持续运行一段时间。而数据流是随时间不断变化的，且这些变化大都具有周期特性。通过发现这种周期性，我们能够更好更充分地估计查询计划的收益/代价比，用来指导查询的自适应调整，并使得自适应查询处理所做出的决策更具有健壮性。\n 我们的设计思想是，根据获取的数据流概要信息，结合时间序列分析方法，计算得到查询中的过滤算子随数据流变化的周期。在此基础上，我们设计了一种新的数据结构--查询计划缓冲池，来为系统中注册的包含选择算子的查询缓存典型的候选查询计划。这样，一旦监测模块判断出系统的运行状态进入到某个候选计划的最佳执行周期，且当前计划不再满足最优条件，就触发重优化机制，将当前的查询计划切换至查询计划缓冲池中满足条件的计划。稳定的概念是本文创新性的提出。我们在进行计划切换判定的时候，要考察两个条件，第一是要满足切换后的计划比当前计划更优；第二就是切换后的计划可以以最优或者较优的状态在系统内运行一段时间，从而避免计划的频繁切换带来的系统开销。我们设计了一种代价/收益计算模型来满足稳定的要求。针对Argus系统的特点，设计了其上的稳定重优化模块。其中，为了更有效的获取数据流概要信息，我们设计了统计信息搜集模块，并结合线性回归和小波变换方法，提出了两种数据流压缩算法。重优化判定模块利用傅立叶变换和谱分析的方法来计算算子选择度的周期，进而计算查询计划的代价/收益值。重优化切换模块通过重新调度算子序列来实现计划切换。最后，实验证明我们的稳定重优化模块使得Argus系统对于具有周期性变化特点的数据流的查询处理，性能上得到了明显的提高。

关键词：自适应性滑动窗口小波变换时间序列分析数据流管理查询处理

来源：评论

学校读者我要写书评

暂无评论

RFID数据流管理与挖掘若干关键技术研究

RFID数据流管理与挖掘若干关键技术研究

引用

作者：刘耀宗南京理工大学

学位级别：博士

无线射频识别(Radio Frequency IDentification，RFID)技术已经得到了越来越多的应用。在这些应用中，RFID阅读器会实时地采集大量包含监控对象时间、位置和状态信息的标签数据，这些数据是以流(Streams)的形式产生的，具有时态性、不... 详细信息

无线射频识别(Radio Frequency IDentification，RFID)技术已经得到了越来越多的应用。在这些应用中，RFID阅读器会实时地采集大量包含监控对象时间、位置和状态信息的标签数据，这些数据是以流(Streams)的形式产生的，具有时态性、不确定性、语义性、海量性等诸多特点，RFID数据流挖掘与管理是RFID技术与数据流理论相结合的研究对象。\n 本论文对RFID数据流研究进行了归纳和总结，以RFID实时定位应用为背景，在RFID数据流的清洗策略与方法、RFID数据流的世系追踪与标注、RFID位置流的不确定性估计、RFID数据流的复杂事件处理等方面提出了新的模型和解决方法，建立了一套有特色的RFID数据流管理与挖掘框架。\n 本论文的主要研究工作及取得的创新性成果如下:\n 1)RFID数据流的清洗策略与方法\n RFID原始数据含有大量噪声，应用之前需要清洗，而清洗策略是清洗质量的保证。引入最大熵特征选择方法用于RFID数据流的清洗策略，对比实验表明该方案优于已有的清洗策略。针对核密度估计的RFID数据清洗方法存在的缺陷，引入小波密度估计的离群点检测方法用于RFID交错读的清洗，对比实验表明该方法取得了较好的清洗效果。\n 2)RFID数据流的世系追踪与标注\n 目前还缺少科学合理的数据流世系追踪模型，以RFID数据流的冰山查询中热门元素的数据世系追踪为研究对象，提出了面向RFID冰山查询的世系追踪模型;在RFID数据流上添加起源信息可以表示其世系，结合主动学习与半监督学习机制，采用数据流分类算法实现RFID数据流的世系标注，为RFID数据流的上层应用奠定了基础。\n 3)RFID位置流的不确定性估计\n RFID技术大量用于实时定位系统，携带标签移动对象和阅读器组成的环境受多种因素影响，使得阅读器采集到的位置数据流具有不确定性。首先根据RFID实时定位的场景建立了一个马尔可夫序列;其次，在粒子滤波基础上，采用属性权重优化方法减少粒子数目并提高了重采样粒子的质量，从而改进滤波的状态估计值，实验表明了该方法不但提高了位置估计的精度也保证了实时性。\n 4)RFID数据流复杂事件处理\n 复杂事件是RFID应用研究的重点，首先介绍了RFID数据流复杂事件处理所涉及的关键技术，在分析和总结已有复杂事件检测方法的基础上，以RFID实时定位应用为背景，设计了RFID复杂事件处理框架;提出了基于时间自动机的RFID复杂事件模式，并采用时间图对RFID事件流的约束进行了推导;最后通过对比实验验证了该平台处理RFID复杂事件的性能。

关键词：无线射频识别数据流管理数据挖掘清洗策略不确定性估计复杂事件处理

来源：评论

学校读者我要写书评

暂无评论

移动网格聚类分析及其在数据流管理中的应用研究

移动网格聚类分析及其在数据流管理中的应用研究

引用

作者：郑盈盈合肥工业大学

学位级别：硕士

近年来，越来越多的应用环境中产生了数据流，这类数据都是连续的、有序的、快速变化的、海量的。如何从数据流中挖掘出有用信息引起了广泛的关注。聚类是一种重要的数据挖掘方法，将其应用到数据流中也是一项重要的研究。传统的聚类方... 详细信息

近年来，越来越多的应用环境中产生了数据流，这类数据都是连续的、有序的、快速变化的、海量的。如何从数据流中挖掘出有用信息引起了广泛的关注。聚类是一种重要的数据挖掘方法，将其应用到数据流中也是一项重要的研究。传统的聚类方法无法在数据流中直接应用，需要研究能够适应数据流变化的聚类算法。在对数据流进行挖掘的同时，也要考虑如何对这样的海量数据进行存储。另外，传统的数据库管理系统在数据流环境中也不再适用，需要研究新的数据流管理系统。目前对数据流管理系统的研究主要集中在如何进行连续查询，而很少有在系统中融合数据挖掘的方法。\n 本文研究了数据挖掘的常用方法和目前已有的数据流聚类技术，给出了一种移动网格数据流聚类方法(MGDDS)。该算法改进了现有一些聚类算法的不足，克服了已有算法对非球形聚类效果不佳的问题，可以处理任意形状的类，并且算法的性能较好，聚类精度较高。另外对传统的数据库管理系统(DBMS)进行分析，指出其应用到数据流中的局限性，分析了数据流管理系统(DSMS)在数据流环境下的特点，及其与DBMS的主要区别。借鉴已经成型的几种数据流管理系统，融合数据流挖掘模块，给出了一个改进的数据流管理系统的框架结构。\n 最后，本文针对一个实际的数据流应用领域，对算法的性能进行了分析。给出了算法在网络入侵检测领域中的一个实现流程，并用常用于网络入侵检测的KDDCup99数据集进行实验，得到了较好的效果，验证了算法的性能。

关键词：数据流挖掘网络入侵检测数据流管理网格聚类分析

来源：评论

学校读者我要写书评

暂无评论

分布式数据流管理系统中基于冗余的高可用性技术研究

分布式数据流管理系统中基于冗余的高可用性技术研究

引用

作者：张笑达东南大学

学位级别：硕士

随着数据流应用的兴起和发展，数据流管理中间件的设计与研究引起了广泛的关注。一个良好的数据流管理中间件系统不仅能对数据流进行有效地管理，还应该具有较好的实时性、高可用性等特点。以往对数据流系统中高可用性的研究侧重于对系... 详细信息

随着数据流应用的兴起和发展，数据流管理中间件的设计与研究引起了广泛的关注。一个良好的数据流管理中间件系统不仅能对数据流进行有效地管理，还应该具有较好的实时性、高可用性等特点。以往对数据流系统中高可用性的研究侧重于对系统节点发生故障进行有效地恢复，通过对计算部件进行冗余备份实现系统节点故障时的软件替换，保证系统继续运行。然而这些研究没有从运算子冗余度角度考虑怎样最大限度的提高系统的高可用性。本文以东南大学计算机科学与工程学院自主研发的Nebula系统为平台，研究分布式数据流管理中间件系统中基于冗余的高可用性技术。\n 提高系统冗余度可以增强可用性，然而受实际负载条件限制，当系统运行负载较重时，无法将冗余度提升至理想值。针对该情况，本文的主要目标是通过研究系统负载和冗余度的关系，在可承受的负载限制条件下寻找到系统能达到的最大冗余度，增强系统可用性。本文首先给出实现高可用性的Nebula系统(Nebula HA)的整体架构设计，进一步研究了Nebula HA的故障恢复模型以保证系统在发生计算节点故障时进行快速正确地恢复。随后本文针对Nebula HA系统提出了一套负载评估理论模型，对计算节点及冗余备份负载消耗做有效估算，用于冗余度的选取和冗余备份。通过负载估算构造出系统冗余度与冗余负载的关系曲线，并在曲线上寻找系统负载限制条件内的最大冗余度值，尽可能地提高了系统冗余度。最后，通过原型系统及仿真实验证明，系统以最大冗余度实施备份并运行，在可承受的性能下降范围内最大限度地增强了系统应对节点故障的能力，同时充分利用了空闲资源对运算子进行备份。相对以往的高可用性方案，本文的研究通过提高冗余度显著地增强了数据流中间件系统的可用性。

关键词：数据流管理中间件高可用性冗余度负载评估

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：