检索结果-内蒙古大学图书馆

Max和Min是数据流管理系统中重要聚集算子。应用基于滑动窗口下的示例概要法在实时数据流场景下计算Max和Min。在本方法中不需要保存所有落入滑动窗口中数据元组,这意味着可以极大地减小存储空间。由于存储元组的减少,系统的处理时间也显著地减少。实验结果表明基于滑动窗口的示例概要法显著降低了时间和空间的开销。

关键词：示例概要法滑动窗口数据流管理系统

来源：评论

学校读者我要写书评

暂无评论

EMS数据流管理系统的框架设计

引用

电力系统自动化 2006年第24期30卷 33-38页

作者：何轶璇罗毅涂光瑜华中科技大学电气与电子工程学院湖北省武汉市430074

针对现有关系型数据库系统在能量管理系统(EMS)实时应用中存在的缺陷,设计了一个新型EMS数据流管理系统的框架,并建立了相对应的数据流模型。该框架能够根据流速不同对采集数据进行分类处理,通过数据流查询窗口对相量测量单元(PMU)高速... 详细信息

针对现有关系型数据库系统在能量管理系统(EMS)实时应用中存在的缺陷,设计了一个新型EMS数据流管理系统的框架,并建立了相对应的数据流模型。该框架能够根据流速不同对采集数据进行分类处理,通过数据流查询窗口对相量测量单元(PMU)高速数据进行分割、降速、筛选,实现了对PMU数据和原有监控与数据采集(SCADA)系统测量值的并行实时处理,并且能够在实现稳态计算功能的同时对系统进行动态监测。文中描述了系统的基本结构、各组成部分的功能和关键技术,并在数据流处理方面提出了一些提高效率的改进措施。

关键词： EMS PMU 数据流管理系统数据流模型滑动窗口

来源：评论

学校读者我要写书评

暂无评论

数据流管理系统中查询处理和实时调度技术研究

数据流管理系统中查询处理和实时调度技术研究

引用

作者：李新中国科学院软件研究所

学位级别：博士

随着信息处理技术在通信、金融、工业生产等领域的广泛应用，数据已经不仅仅拘泥于文件、数据表等传统形式。大量连续、变化的流式数据在越来越多的现代应用中出现，例如军事指挥、交通控制、传感器数据处理、网络监控、金融数据分析等... 详细信息

随着信息处理技术在通信、金融、工业生产等领域的广泛应用，数据已经不仅仅拘泥于文件、数据表等传统形式。大量连续、变化的流式数据在越来越多的现代应用中出现，例如军事指挥、交通控制、传感器数据处理、网络监控、金融数据分析等。在这些应用中，数据以流的形式不断到达，系统需要对这些数据进行连续、及时的处理。如果处理时间超过了查询截止期要求，查询结果就没有意义，甚至会造成灾难性后果。目前大多数研究集中于连续查询的处理与调度，对于以满足截止期为目标的实时查询处理与调度的研究比较少，因此本文主要讨论数据流管理系统中实时查询处理与调度问题。\n 本文首先系统地分析了数据流系统的应用需求、特点和研究现状，在此基础上提出了一种由周期性查询、非周期性查询(包括连续性查询和一次性查询)构成的混合实时查询模型，并对三种查询的定义和属性进行了形式化描述。为了方便查询的定义与表示，本文设计了一种类soL的实时连续查询语言RT-coL(Real:Time Continuous Query Language)。与已有查询语言相比，RT-coL增加了对周期、截止期、采样率等实时性和近似性特征的描述。\n 其次，本文结合实时查询的特点，讨论了选择、投影、聚集、连接等基本操作符的设计与实现。针对多查询共享问题，本文提出了一种带共享段的操作符网络构造算法。该算法可以根据多个查询计划构造包含公共操作符路径段的操作符网络，消除重复的操作符，提高查询处理效率。\n 接着，本文针对共享滑动窗口连接问题提出一种相对截止期优先连接算法RDF-SJoin(Relative Deadline First Shared window Join)和一种绝对截止期优先连接算法EDF-SJoin(Earliest Deadline First Shared window Join)。RDF-SJoin算法优先进行相对截止期较短的窗口上的连接操作。EDF-SJoin算法按照元组的绝对截止期从早到晚的顺序进行连接操作。仿真测试结果表明，这两种算法都能减少查询的截止期错失率。与RDF-SJoin算法相比，EDF-SJoin算法能更公平的执行共享连接操作，避免查询执行中的“饿死问题”。\n 再次，本文针对多查询的实时调度问题提出一种以操作符路径为单位的最早截止期优先调度算法OP-EDF(Operator-Path Earliest Deadline First)，并从调度能力、响应时间、系统开销等方面对算法性能进行了分析。然后，针对流速爆发情况下OP-EDF算法系统开销较大的问题，提出两种改进的内部调度算法～OP-EDF-Batch和OP-EDF-Gate，实现了高效的元组批处理调度。实验结果表明两种改进的算法可以有效地应用于流速爆发环境中的数据流实时查询处理。\n 进一步，本文把反馈控制思想应用到混合查询调度中，提出了一种基于反馈控制的混合查询调度算法FC-TBS(Feedback-Control-based Total BandwidthServer)。该算法根据周期性查询和非周期性查询的负载情况和截止期错失率，动态分配处理器时间。试验结果表明，与其它混合调度算法相比，FC-TBS算法在保证周期性查询截止期的情况下能够降低非周期性查询的截止期错失率，并能通过自适应调节CPU利用率参数的方法提高查询处理系统的整体服务质量。\n 最后，设计开发了一个实时数据流管理原型系统RT-DSMS，用于相关策略与算法的性能评估。这个原型系统提供了良好的可扩展性与可配置性，支持对新增查询调度算法、负载管理策略的测试与分析。\n 以满足截止期和降低截止期错失率为目标的数据流管理系统研究具有较高的应用价值和良好的应用前景。本文的研究成果为进一步探讨实时查询处理与查询优化，以及混合查询调度提供了良好的基础。

关键词：数据流管理系统查询处理实时调度

来源：评论

学校读者我要写书评

暂无评论

数据流管理系统研究与实现

数据流管理系统研究与实现

引用

作者：吴庄南京航空航天大学

学位级别：硕士

随着网络的发展,通讯设备的普及,一种新的数据密集型应用逐渐浮出水面,这主要包括:金融分析、网络监控、通讯数据管理、传感器网络数据处理等。在这些应用中数据是多维的、连续的、快速的、随时间变化的,同时,这些应用除了传统的即席查... 详细信息

随着网络的发展,通讯设备的普及,一种新的数据密集型应用逐渐浮出水面,这主要包括:金融分析、网络监控、通讯数据管理、传感器网络数据处理等。在这些应用中数据是多维的、连续的、快速的、随时间变化的,同时,这些应用除了传统的即席查询,更可能需要连续查询。传统的数据库技术,由于其对数据的假设和相应的查询处理技术,已经无法适应这些应用的要求,因此开发一种新型的数据管理系统来有效地满足这种新型数据处理要求已成为目前数据库研究的热点之一。本文的目的就是研究数据流管理系统并加以实现,在此做的主要工作有:研究了数据流的数据模型和查询语言;设计了数据流管理系统原型GStream;研究了管道式过滤器的顺序问题,提出了基于贪婪思想自适应算法AFO;对k-约束分类,研究了各种k-约束在连接运算中的作用,提出了相应的应用和监测算法;在使用MJoin方法实现的多路连接运算中引入中间结果的概念,提出了改进的多路连接实现技术;最后实现了GStream,并对上述各种算法进行了实验分析。

关键词：数据流连续查询语言数据流管理系统管道式过滤器 k-约束多路连接

来源：评论

学校读者我要写书评

暂无评论

数据流管理系统的研究与设计

数据流管理系统的研究与设计

引用

作者：周杰南京航空航天大学

学位级别：硕士

近年来,在金融服务、电信数据管理、网络监控和传感器监控等领域中,出现了一类新的数据密集型应用。这类应用都有类似的特征:数据是瞬时的、连续的、随时间变化的,数据不宜用持久稳定的关系建模,而适合用瞬态的数据流来建模。把这类连... 详细信息

近年来,在金融服务、电信数据管理、网络监控和传感器监控等领域中,出现了一类新的数据密集型应用。这类应用都有类似的特征:数据是瞬时的、连续的、随时间变化的,数据不宜用持久稳定的关系建模,而适合用瞬态的数据流来建模。把这类连续到达的数据放到传统的关系数据库中进行管理是不可行的,由此产生了一些新的数据流方向上的研究。本文的重点在于数据流管理系统方面的研究和设计。分析了国外主要的现有的数据流管理系统,比较了传统的数据库管理系统和数据流管理系统的区别;设计了数据流管理系统MyStream的整体框架,并且给出了各个模块的详细描述,给出了关键部分的数据结构描述,提出了一种新的以SQL语言为基础的数据流查询语言MyCQL,在用户接口方面引入了COM接口的方式;提出了一种改进的数据流时间戳管理算法,在原有的STREAM系统的时间戳管理算法上引入了概率,使得算法的参数设定更加灵活;在操作符调度方面,给出了一种基于速率的抢占式批调度算法,给出了一些速率计算方面的定义,并且比较了和FIFO、RR等调度方式在效率上的区别;将MyStream应用到交通管制中,通过根据交通状况来设置不同的费用,来降低道路的拥堵状况。

关键词：数据流管理系统数据库管理系统数据流查询语言时间戳操作符调度交通管制

来源：评论

学校读者我要写书评

暂无评论

数据流管理系统中概要数据结构算法的研究和实现

数据流管理系统中概要数据结构算法的研究和实现

引用

作者：吴成涛东南大学

学位级别：硕士

近年来,在金融服务、网络监控、电信数据管理及传感器检测等领域中,出现了一类新的数据密集型应用。这类应用的特征是:数据以大量、快速、时变的数据流形式持续到达,所以数据不宜用持久稳定关系建模,而适合用数据流建模。论文在研究目... 详细信息

近年来,在金融服务、网络监控、电信数据管理及传感器检测等领域中,出现了一类新的数据密集型应用。这类应用的特征是:数据以大量、快速、时变的数据流形式持续到达,所以数据不宜用持久稳定关系建模,而适合用数据流建模。论文在研究目前国际上最新的数据流管理技术的基础上,介绍了东南大学自行开发的基于硬件预处理器的数据流管理系统原型SEUSTREAM的体系结构和一种可以支持对数据流上进行持续查询的查询语言X-SQL。在很多实际应用中,例如决策支持系统、查询优化等,用户并不需要获得确切值,而仅需要一个近似值。因此,设计单遍扫描算法(one-pass algorithm),实时地给出近似查询结果就成为数据流模型下数据处理的目标。算法的关键在于设计一个远小于数据集规模的结构,从而可以在内存中处理数据。相对于数据流的规模而言,这种名为概要数据结构(synopsis data structure)的规模至少是次线性的。小波变换大纲作为高效的数据压缩还原技术引起了数据流领域的高度关注。论文详细介绍了哈尔小波的变换过程,并且引入了误差树的概念对这个变换过程进行了详细的分析。在此基础上实现了用哈尔小波方法生成概要数据结构的算法,选用了不同的固定阈值并进行了性能测试,实验表明不同的压缩率导致了重构数据与原始数据存在一定的误差。同时基于测试结果分析了固定阈值方案的不足之处,数据重建的质量变化很大,并且对于单独的近似解答缺少特别的质量保证。在此基础上提出并实现了基于概率的可变阈值的小波变换,比较好地解决了这个问题。

关键词：数据流管理系统概要数据结构 Haar小波变换 X-SQL 阈值

来源：评论

学校读者我要写书评

暂无评论

数据流管理系统Argus中聚集算子的设计与实现

数据流管理系统Argus中聚集算子的设计与实现

引用

作者：田海生中国科学院研究生院（本部）

学位级别：硕士

数据流的研究已成为当今数据库领域的热点，数据流是一个连续、无界、顺序、时变的元组序列，其上的应用大多是监视型的，也即持续运行在连续数据流上的连续查询。传统DBMS的先存储再查询的执行方式对此显然是不能适应的。因此，必须研... 详细信息

数据流的研究已成为当今数据库领域的热点，数据流是一个连续、无界、顺序、时变的元组序列，其上的应用大多是监视型的，也即持续运行在连续数据流上的连续查询。传统DBMS的先存储再查询的执行方式对此显然是不能适应的。因此，必须研制新的数据流管理系统(DSMS)来满足这种需求。聚集算子是DSMS中一类重要的算子，它对完成数据流上的持续监视至关重要。目前对于聚集算子的实现已经有很多的工作，但仍然存在一些问题，比如：如何确定滑动窗口的移动步长，如何有效处理不可分解的聚集函数等。\n 本论文考虑数据流管理系统Argus中聚集算子的设计与实现。首先通过增流量和减流量来研究各种窗口下的聚集算子(包括max， min， sum， avg，count等)的实现策略，系统可以根据数据流到来的元组数量来确定聚集算子执行的时机以及每次执行所处理的元组数量，从而实现系统的自适应性；在此基础上，研究基于大纲的聚集算子实现，针对不同的聚集算子提出合适的大纲，通过维护算子大纲可以抛弃那些对最终结果不再产生影响的元组，以减少所必需存储的数据规模。同时可以基于大纲来近似回答一些聚集算子；最后，论文研究自适应的聚集算子的实现，借以解决目前人为指定滑动窗口移动步长所存在的可能错失感兴趣的事件以及处理效率低下等问题。

关键词：数据流管理系统聚集算子自适应性滑动窗口移动步长

来源：评论

学校读者我要写书评

暂无评论

数据流管理系统访问控制研究

数据流管理系统访问控制研究

引用

作者：吕宗健中国人民大学

学位级别：硕士

随着数据流管理系统的日益发展，如何确保系统安全成为开发者面临的重要问题之一。访问控制是确保系统安全的一个重要手段，它通过适当的访问权限管理来实现系统的信息和资源保护、防止用户对系统信息的不恰当和非法访问。因此针对数据... 详细信息

随着数据流管理系统的日益发展，如何确保系统安全成为开发者面临的重要问题之一。访问控制是确保系统安全的一个重要手段，它通过适当的访问权限管理来实现系统的信息和资源保护、防止用户对系统信息的不恰当和非法访问。因此针对数据流管理系统的访问控制研究不仅具有重要的理论意义，还有广泛的应用价值。\n 本文详细分析了数据流管理系统面临的各种挑战，并在现有访问控制模型的基础上提出了基于角色的数据流管理系统访问控制模型RBAC-S，给出了模型的形式化定义以及在此模型下授权的体系结构。RBAC-S的控制对象不仅仅可以基于数据流，还可以基于元组和属性列，且控制的权限也扩展到了读、聚集与连接操作;通过提出上下规则的概念，不仅有效的表达了新环境下对规则制定与分配的约束，而且在此基础上建立了高效的自适应访问策略执行算法与对结果数据流的访问验证机制，从而在满足安全约束的情况下提高了效率;通过提出会话挂起的概念，使得模型可以根据外部环境的变化实时的分配与收回访问权限，将正在查询的所有用户影响减到最少;此外，在开源系统上完成了基于RBAC-S的Borealis*原型设计，不仅验证了模型的可行性，分析了添加访问控制后对系统的性能影响，还与已有的安全系统进行了比较，为进一步研究奠定了理论和方法基础。

关键词：数据流管理系统访问控制安全管理自适应执行算法

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：