检索结果-内蒙古大学图书馆

作者：刘骁华东师范大学

学位级别：硕士

不确定数据广泛存在于信息社会的各个领域之中,包括金融、军事、位置服务、医疗以及气象等。随着移动互联网的快速普及以及新型数据采集技术的不断问世,不确定数据的规模急遽增长。因此,不确定数据管理技术受到了学术界与工业界研究人... 详细信息

不确定数据广泛存在于信息社会的各个领域之中,包括金融、军事、位置服务、医疗以及气象等。随着移动互联网的快速普及以及新型数据采集技术的不断问世,不确定数据的规模急遽增长。因此,不确定数据管理技术受到了学术界与工业界研究人员的共同关注。数据不确定性出现在关系数据、半结构化数据、数据流以及多维数据之中。本文研究如何解决不确定数据流的Top-k查询处理。不确定数据流是一个高速到达的海量不确定数据元组序列,主要处理的难点有:(1)数据流到达速率极快,必须及时进行处理;(2)数据规模潜在无限,往往无法将全部数据存放在内存之中;(3)由于概率的存在,需要设计高效的优化算法,来降低计算成本。目前,虽然学术界已经积累了众多的研究成果,但现有方法在应对具体场景时仍存在局限性,因此亟需开发新型不确定数据流管理技术。本文提出了一种新型的不确定数据流近似查询算法,可以处理不确定数据流的ER-Topk与TTk查询问题。此外,为了实现数据流吞吐与查询响应的双重性能提升,我们设计出了一套通用的不确定数据流的查询处理框架。本文的工作主要包括以下几个方面:海量数据流近似查询算法解决了目前不确定数据流在处理ER-Topk与TTk查询时所遇到的存储空间消耗过大的问题。该算法可以有效地对到达的不确定数据流进行过滤处理,在控制数据精度的情况下减少数据处理压力,提升系统的整体性能。实时不确定数据流处理框架基于近似算法提出一种针对于处理ER-Topk与TTk的数据流批处理框架。框架采用并行处理技术以实现对不断快速到达数据的高吞吐处理。数据流误差检测不确定数据流往往由于各种因素的影响而存在错误信息。为了避免错误数据对查询结果产生严重影响,本文提出了一种错误数据检测方法,通过对数据特征的分析实现异常判断。框架的有效性验证本文提出的近似算法与框架旨在解决不确定数据流上的ER-Topk与TTk查询。为了验证算法与框架的数据吞吐能力、可靠性以及查询响应速率,本文通过设计不同的实验策略,结合模拟数据与真实数据来检测算法与框架的真实表现。

关键词：不确定数据数据流查询 Top-k查询数据挖掘

来源：评论

学校读者我要写书评

暂无评论

一种自适应的分布式数据流处理调整技术

引用

计算机工程 2015年第12期41卷 15-20,25页

作者：马元文王鹏周之敏汪卫复旦大学计算机科学技术学院上海市数据科学重点实验室上海201203

由于数据流速率的不稳定特性,将数据流查询部署在固定数量的结点上会导致分布式数据流管理系统(DDSMS)难以高效地利用计算资源。为此,针对目前支持一个结点运行多个实例模式的DDSMS,提出一种基于操作符组的自适应动态调整技术,包含桶机... 详细信息

由于数据流速率的不稳定特性,将数据流查询部署在固定数量的结点上会导致分布式数据流管理系统(DDSMS)难以高效地利用计算资源。为此,针对目前支持一个结点运行多个实例模式的DDSMS,提出一种基于操作符组的自适应动态调整技术,包含桶机制的路由管理、生成调整策略和调整执行计划等方法。通过监控当前执行计划的运行状态,DDSMS生成代价较小的调整策略,并对当前执行计划进行调整。在数据流处理的基准测试数据上进行实验,结果表明,该调整技术可以更加细粒度地制定调整策略,灵活应对数据流速率的变化。

关键词：数据流查询分布式动态调整状态管理调整策略

来源：评论

学校读者我要写书评

暂无评论

基于屏蔽/汇总技术的数据流处理算法

基于屏蔽/汇总技术的数据流处理算法

引用

作者：崇志宏复旦大学

学位级别：博士

与传统数据密集型应用相比，诸如网络监控系统等顺序产生的实时数据无法精确存储在数据库中，这种数据序列被称为数据流。数据流的典型特点是，其存储消耗具有潜在的无界性，其产生次序、间隔等统计特性具有不确定性，因此，数据流处理... 详细信息

与传统数据密集型应用相比，诸如网络监控系统等顺序产生的实时数据无法精确存储在数据库中，这种数据序列被称为数据流。数据流的典型特点是，其存储消耗具有潜在的无界性，其产生次序、间隔等统计特性具有不确定性，因此，数据流处理的算法需要具备以下的特点：1)算法复杂度必须是次线性的，输出结果可以是近似的；2)算法能够实时处理数据流输入。线性复杂度算法不能处理数据流的存储、查询和分析处理，因此，通过屏蔽或汇总数据流来控制次线性复杂度存储消耗成为数据流研究的重要内容。本篇论文通过对数据流上频繁项（集）发现、分布数据流并上聚合函数估算和κ-中值点（κ-median）搜寻，研究数据流处理的屏蔽和汇总的基本策略，主要贡献有： 1．基于在线屏蔽策略，提出数据流上拒真的频繁项（集）发现，使用O(s-1ln(2δ-1)存储以至少1-δ概率输出频繁项；使用O(K／sln(s-1δ-1))存储可靠挖掘边界频繁项集（频繁项集的浓缩表示）； 2．基于采样屏蔽策略，提出滤除分布数据流中的冗余和不一致的算法，应用min-wise哈希采样数据流而获取均匀样本集。由于获取的样本集不受分布流中冗余和不一致数据影响，能够准确估计聚合函数值，并进一步应用min—wise哈希方法采样位置流（location streams）来搜寻κ-中值点； 3．基于汇总数据流策略，提出数据流上κ-中值点的快速估算算法，应用空间分割的汇总结构控制存储复杂度。不同于位置流中的频繁更新，数据流上κ-中值点需要单遍扫描庞大数目点集来获取近似中值点集。研究发现分割粒度不是影响κ-中值点近似程度的直接原因，避免精细分割产生指数增长的存储消耗问题。本文的研究成果可广泛应用于数据流相关的应用，如金融交易数据的处理、传感器网络数据的分析、以及网络实时监控等领域。

关键词：数据流数据流挖掘数据流查询

来源：评论

学校读者我要写书评

暂无评论

TSS数据流管理系统的设计与实现

引用

计算机工程与设计 2008年第13期29卷 3458-3461页

作者：秦元坤彭乐薛一波清华大学信息技术研究院网络安全实验室北京100084 北京邮电大学计算机科学与技术学院北京100876

当前信息安全方面的很多应用表现为典型的数据流应用,对数据流查询提出较高的要求。研究针对信息安全应用的数据流管理系统,提供高效、灵活的数据流查询统计分析技术,对于提高这些应用系统的效率具有重大意义。设计并实现了TSS数据流管... 详细信息

当前信息安全方面的很多应用表现为典型的数据流应用,对数据流查询提出较高的要求。研究针对信息安全应用的数据流管理系统,提供高效、灵活的数据流查询统计分析技术,对于提高这些应用系统的效率具有重大意义。设计并实现了TSS数据流管理系统,可以对高速的网络数据流进行实时的查询和统计分析,为各种应用提供高速有效的支持。此外,系统特别优化了网络应用中常用的5类聚合查询,使该系统性能可以满足千兆网络条件下的实际使用。

关键词：数据流数据流查询数据流管理系统清华数据流管理系统聚合查询

来源：评论

学校读者我要写书评

暂无评论

基于数据流的股票信息发布系统的研究

基于数据流的股票信息发布系统的研究

引用

作者：袁泉复旦大学

学位级别：硕士

近年来,基于金融服务、网络监控、安全、电信数据管理、股票行情、传感器网络等数据监控系统,对象数据是一种大量的、连续的、实时的、流动的流数据,并要求对数据的处理是实时的,并能够同时处理大量查询。可扩充标记语言(XML)具有良好... 详细信息

近年来,基于金融服务、网络监控、安全、电信数据管理、股票行情、传感器网络等数据监控系统,对象数据是一种大量的、连续的、实时的、流动的流数据,并要求对数据的处理是实时的,并能够同时处理大量查询。可扩充标记语言(XML)具有良好的自描述性和跨平台性等优点,已成为数据交换的标准,广泛存在于Web上和企业中。本文主要研究基于XML数据流处理技术的股票行情系统,主要工作包括:1)设计了一个基于Web的股票行情实时监测系统,并实现了系统原型;2)将实时发布的股票行情表示为XML数据流,将用户对股票行情数据的监测被抽象地表示为XPath查询。本系统将用户提交的查询语句,根据股票数据的XML文档类型定义(DTD),转换成相应的Xpath语句;3)为了能够利用有限的内存实时处理股票行情数据,将XPath查询建模为自动机,通过对XML数据流中标签事件的解析来驱动状态机的状态迁移:当前一个状态收到满足迁移到下一个状态的迁移条件后,即迁移到下个状态,当该状态是接受状态时,则返回查询结果给用户;4)为了有效地支持多用户查询,将多个XPath查询语句合并并被抽象地表示为一个非确定性有限自动机(NFA),通过利用路径和状态共享,提高了查询效率;5)最后,通过设计分析和研究,以及实验得出的数据,表明了本文的系统和方法是有效的。

关键词：数据流查询 FSM NFA 股票信息

来源：评论

学校读者我要写书评

暂无评论

基于数据流的汽轮机组故障智能诊断系统的研究

基于数据流的汽轮机组故障智能诊断系统的研究

引用

作者：程维华浙江大学

学位级别：硕士

汽轮发电机组作为火电厂关键设备,其运行稳定性直接关乎电站的生产成本、发电质量以及整体的安全性。随着发电机组朝着大型化和复杂化方向发展,对象的测点不断增加,将产生大量流动的、连续的、实时的流数据,这些数据蕴含着丰富的设备状... 详细信息

汽轮发电机组作为火电厂关键设备,其运行稳定性直接关乎电站的生产成本、发电质量以及整体的安全性。随着发电机组朝着大型化和复杂化方向发展,对象的测点不断增加,将产生大量流动的、连续的、实时的流数据,这些数据蕴含着丰富的设备状态信息,如何在汽轮机组故障智能诊断系统中快速处理这些数据以获取有用信息,对于保障机组设备安全稳定的运行具有重要意义。本文在上述背景下,结合课题"发电机智能诊断子系统",开展了基于数据流的汽轮机组故障智能诊断系统的研究。各个部分的具体研究内容如下:1.从数据流的基本概念出发,介绍了数据流模型和数据流的应用,并在此基础上建立了一个基于数据流技术的汽轮机组故障智能诊断系统模型。同时对系统的功能模块进行了描述,并分析了其中关键的数据流预测模型。2.针对汽轮机组异常检测要解决的问题,构建了小波误差树,实现数据流的快速查询,同时为满足汽轮机组异常检测过程中实时性和准确性的要求,采用基于预测模型的异常检测算法,即通过构建滑动窗口结合高斯回归算法的模型实现汽轮机组的异常检测。并以定冷却水流量的异常为例进行实验验证,实验结果表明,该异常检测算法满足要求。3.基于BP神经网络、支持向量机和深度置信网络三种预测方法,结合四种特征提取选择方法,开展了汽轮机组故障特征提取的研究,采用滑动窗口结合均匀抽样的方式实现了数据流的实时预测,降低了运行时间,并利用定子线圈出水温度进行实验,实验结果表明,基于预测方法与特征提取选择方法的数据流预测方法满足数据流在预测精度和实时性上的需求,可用于汽轮机组故障智能诊断系统进行数据流预测。4.在上述研究的基础上,设计开发了汽轮机组故障智能诊断系统。通过设计发电机组智能诊断系统的总体结构,并选择相应系统运行环境,实现了实时状态监测、趋势预测、故障诊断等功能。以实际项目为依托,对发电机故障智能诊断系统的开发和数据流技术的研究提供了一些经验和思考。

关键词：汽轮发电机组数据流故障诊断数据流查询数据流异常检测数据流预测

来源：评论

学校读者我要写书评

暂无评论

基于自动机的XML流查询技术研究

基于自动机的XML流查询技术研究

引用

作者：吴年中国科学技术大学

学位级别：硕士

本文对基于自动机的XML流查询技术进行了研究。文章共分八个部分：第1章介绍研究背景和研究内容；第2章介绍XML数据流查询的现状和相关工作；第3章介绍XSIEQ系统框架和基本的XSIEQ机；第4章介绍XSIEQ的IOut查询策略；第5章介绍XSIEQ的P... 详细信息

本文对基于自动机的XML流查询技术进行了研究。文章共分八个部分：第1章介绍研究背景和研究内容；第2章介绍XML数据流查询的现状和相关工作；第3章介绍XSIEQ系统框架和基本的XSIEQ机；第4章介绍XSIEQ的IOut查询策略；第5章介绍XSIEQ的PBuf查询策略；第6章介绍了系统的实现的框架和主要类结构，说明了在系统实现时的一些优化技术，然后给出了部分实验结果及性能分析；第7章介绍了以满足某XQuery子集的XQuery脚本为查询条件的XML流查询系统的实现；第8章总结论文的主要内容，讨论今后可以进一步开展的研究方向。

关键词：数据交换查询引擎数据流查询

来源：评论

学校读者我要写书评

暂无评论

数据库技术的发展与展望

引用

考试(高考试题设计版) 2009年第9期 22-23页

作者：周宇鹏吉林华桥外国语学院

数据库技术发展的特征表现随着计算机技术的发展以及计算机应用需求的拓宽,数据库技术得到了极大的发展,其特征表现在:一方面是各种学科技术的内容与数据库技术的有机结合,从而使数据库领域中新内容、新应用、新技术层出不穷,面向对象... 详细信息

数据库技术发展的特征表现随着计算机技术的发展以及计算机应用需求的拓宽,数据库技术得到了极大的发展,其特征表现在:一方面是各种学科技术的内容与数据库技术的有机结合,从而使数据库领域中新内容、新应用、新技术层出不穷,面向对象数据库、分布式数

关键词：数据库技术数据仓库数据流查询数据库市场存储资源代理数据流管理 RDBMS

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：