检索结果-内蒙古大学图书馆

作者：孔祥佳大连理工大学

学位级别：硕士

海洋平台在远离陆地、恶劣环境、极端天气、网络条件差等诸多苛刻的不利条件下实施监测,监测生成的流数据来源各异、数量巨大、快速实时、结构多样、瞬时变化,管理技术要求越来越高,许多传统管理方法和模式不能满足需求,如何科学有效地... 详细信息

海洋平台在远离陆地、恶劣环境、极端天气、网络条件差等诸多苛刻的不利条件下实施监测,监测生成的流数据来源各异、数量巨大、快速实时、结构多样、瞬时变化,管理技术要求越来越高,许多传统管理方法和模式不能满足需求,如何科学有效地管理海洋平台监测流数据研究成果和实践经验相对较少,也正是当前亟待解决的问题。本文总结了海洋平台监测流数据的特点和相关特性的变化,国内外流数据远程传输、规范化处理、分布式存储和管理系统的研究现状以及存在的主要问题,提出了基于反馈机制和MD5码检测的流数据远程传输技术,通过发送端传输的数据文件的MD5码和接收端生成的MD5码一致性检验,保证了流数据传输的完整性和一致性；建立了一个包含所有可能情况的数据规范处理方式的监测流数据修复函数库和数据格式信息表,实现了对监测流数据错误、丢失、无序、噪声等问题的处理和对格式、范围、标准不一致统一规范；基于Hadoop搭建了监测流数据分布式存储平台,为高效查询分析数据提供服务。针对现实应用的实际需求,设计了海洋平台监测流数据管理系统,对用户管理权限、流数据远程传输、数据规范化处理、分布式数据存储、数据查询等功能进行了实现。通过对海洋平台监测流数据相关管理问题的研究,为海洋平台监测流数据的管理应用提供了思路,对确保海洋平台安全作业、推动海洋重大工程监测技术的发展和应用具有重大意义。

关键词：海洋平台监测流数据管理远程传输规范化分布式存储

来源：评论

学校读者我要写书评

暂无评论

面向流数据的分布式时序同步系统的设计与实现

引用

软件 2017年第2期38卷 105-111页

作者：黄伟健胡怀湘华北计算技术研究所北京100083

针对目前分布式流数据管理方案的不足,本文从实际的业务需求出发,结合雷达流数据的单消息体规模大、消息流压力大以及流量波动明显的特征,采用主从式的分布式结构,利用Akka异步通信框架,设计并实现了一个面向流数据的分布式时序同步系... 详细信息

针对目前分布式流数据管理方案的不足,本文从实际的业务需求出发,结合雷达流数据的单消息体规模大、消息流压力大以及流量波动明显的特征,采用主从式的分布式结构,利用Akka异步通信框架,设计并实现了一个面向流数据的分布式时序同步系统。该系统可扩展性强,容错性好,同时也是后续的分布式流数据实时计算系统和实时存储系统能够正常运行的重要前提。本文首先分析了系统使用的关键技术,然后结合实际背景设计了系统的整体框架,接着从消息类型、数据结构和主从节点的处理流程三个方面详细剖析了系统的实现细节,最后通过实验进一步验证了系统设计的可行性。

关键词：流数据管理 Akka 时序同步分布式系统

来源：评论

学校读者我要写书评

暂无评论

流数据管理关键技术研究与应用

流数据管理关键技术研究与应用

引用

作者：龚海平重庆邮电大学

学位级别：硕士

近年来，随着互联网技术的飞速发展，各种高速、大容量的实时流数据处理已遍布各种应用领域，如网络监控、金融分析、网络入侵检测、传感网络、Web日志以及点击流等，这些应用领域产生的数据以流的形式出现，具有快速、无限、连续、速... 详细信息

近年来，随着互联网技术的飞速发展，各种高速、大容量的实时流数据处理已遍布各种应用领域，如网络监控、金融分析、网络入侵检测、传感网络、Web日志以及点击流等，这些应用领域产生的数据以流的形式出现，具有快速、无限、连续、速率不断变化、实时的特点，使得传统的数据库技术在处理这种新型的数据模型时面临了诸多严峻的挑战。\n 本文分析了目前流数据管理研究领域的各种技术的优势和存在的问题，重点对分布式异构流数据集成、流数据存储以及流数据频繁项挖掘的降载问题这三个方面开展了研究，最后设计并实现了面向高速网络的综合网络安全实时监测系统。\n 首先，各种分布式异构流数据集成问题。在许多分布式监控应用中，需要集中处理网络上各个节点的数据，这些数据存在格式、规范以及标准的不统一，需要进一步转换和集成，以便处理系统能够综合处理各种异构的数据。基于现有的数据集成转换技术和流数据处理技术，本文提出一种基于流数据管理系统的分布式异构流数据集成方法。通过系统实现和实验分析，证明该方法能够较好的解决网络安全实时监测系统的数据集成问题。\n 其次，存储空间问题。需要处理的流数据是无限的，不可能完全存储起来后再处理。因此，本文结合网络安全监测应用领域和流数据特点，提出了一种基于时间多粒度的存储策略。实验证明，该策略能够较好的降低存储空间，同时保证了数据的完整性。\n 再次，流数据处理过程中的过载问题。在有限资源下实现对无限流的实时处理是一个难题。本文针对流数据频繁项挖掘过程中出现的过载问题，提出了一种面向流数据频繁项挖掘的降载策略。实验证明，该降载策略能够有效地保证流数据频繁项挖掘的结果。\n 最后，以网络安全监测应用为落脚点，设计并初步实现了面向高速网络综合安全实时检测系统原型。该系统能够集成各种网络设备的网络流数据以及历史流数据，能够实时检测各种网络状态和异常信息。通过实验和系统测试，验证了上述研究的正确性和有效性。

关键词：流数据管理数据集成数据存储数据模型

来源：评论

学校读者我要写书评

暂无评论

分布式数据流负载管理技术及其算法研究

分布式数据流负载管理技术及其算法研究

引用

作者：黄义明五邑大学

学位级别：硕士

数据流模型作为一种新型的模型，在许多应用领域扮演着重要的角色。计算机和网络技术的不断发展以及相关技术的进步，使得信息系统在传感器网络、网络监控、通信数据管理、股票分析等领域得到广泛的应用。在这些新应用领域中，大量信息... 详细信息

数据流模型作为一种新型的模型，在许多应用领域扮演着重要的角色。计算机和网络技术的不断发展以及相关技术的进步，使得信息系统在传感器网络、网络监控、通信数据管理、股票分析等领域得到广泛的应用。在这些新应用领域中，大量信息是以一种新型数据-数据流表现的，它们以大量的、连续的、随时间变化的、无法预测、无限制的流的形式到达，使得传统数据管理技术难以适应新形势下的应用需求。如何对这些流数据进行管理、查询以及处理成为目前研究领域的一个热点。\n 本论文主要讨论了数据流系统的基本结构、特点以及其主要应用领域，针对数据流负载管理中，由于负载不平衡所引起的局部负荷过重，以及单位时间内输入到系统的数据单元数量过多而引起的系统过载等问题，进行了研究讨论。负载平衡、负载丢弃是数据流负载管理中的关键技术。\n 本论文主要研究内容如下：针对分布式数据流系统对负载平衡的分布性和可扩展性的需求，对负载平衡技术进行了研究，提出一种基于局部平衡的射线型结构负载平衡算法。该算法通过实现一种无中心节点的局部负载平衡，来完成整个分布式数据流系统网络资源的合理分配和利用。另外提出了一种基于多路径分析的负载丢弃算法。主要针对以聚合类查询操作为结尾，多数据流，多查询的连续查询网络的负载丢弃问题。\n 本文对负载管理技术的研究，为有效应对数据流系统的负载问题提供了理论支持和应用借鉴，对进一步提高数据流系统性能以及更加深入的应用研究都具有重要意义。

关键词：分布式数据流负载管理流数据管理负载平衡可扩展性

来源：评论

学校读者我要写书评

暂无评论

数据流卸载技术研究

数据流卸载技术研究

引用

作者：韩东红东北大学

学位级别：博士

随着数据流应用系统的快速发展，流数据管理系统对数据库技术提出了巨大挑战。由于数据流经常是爆发性的且数据特征可能随时变化，因此要求数据流管理系统具有良好的自适应性。当流数据的速率超过系统资源限制时，系统会产生过载导致性... 详细信息

随着数据流应用系统的快速发展，流数据管理系统对数据库技术提出了巨大挑战。由于数据流经常是爆发性的且数据特征可能随时变化，因此要求数据流管理系统具有良好的自适应性。当流数据的速率超过系统资源限制时，系统会产生过载导致性能下降甚至瘫痪。为解决这一问题，卸载技术是一种行之有效的方法。在这种研究背景下，本文在深入分析数据流卸载技术相关问题的基础上，提出了一些新的卸载策略，并通过大量试验，验证了提出策略的高效性。下面对本文的主要工作和贡献总结如下：\n 首先，提出了一种全面考虑CPU处理能力及内存容量的QoS自适应框架。该框架能够在系统资源有限、数据输入速度及特征可变的情况下，使系统具有良好的自适应能力以确保高质量的QoS。框架包括上下游两个部分，其中上游部分为内存管理器，由卸载器、清洗器和调度器三个部分构成，主要负责对DSMS中的内存缓冲区进行有效管理。试验结果表明，该框架具有稳定性好、健壮性强的优点，在错失率相同的情况下，卸载率、系统资源利用率等几方面性能均优于现有其它方法。在这方面的主要内容包括：\n (1)将基于控制理论的PID控制器引入内存负载管理：分析现有队列管理方法的基础上，在卸载器的设计中运用了PID控制器，将队列长度维持在期望的占空比，以便达到降低排队延迟、提高吞吐量，同时保持相当的队列空间来吸收突发且重要数据的目的。将自动控制理论的相关技术引入数据流管理是我们的突出贡献点，是富有创新性且积极有效的；\n (2)提出了截止期．重要性优先的实时调度算法DIF：当在实际应用中需要同时考虑流数据截止期和重要性两个特征参数并为流数据分派优先级时，针对其它调度算法的不足，将数据优先级作为流数据相对截止期和重要性的线性加权平均，并同时考虑了系统的负载情况。试验表明在所有负载条件下，DIF算法相对于其它调度算法在性能方面具有明显改善； \n (3)提出了有效的清洗策略：运用一阶指数平滑的方法来估算每个元组平均处理时间及在队列中的平均等待时间，在此基础上提出了有效的清洗策略将不满足查询QoS要求的数据从队列中及时清除以节省系统资源。\n 其次，针对数据流上滑动窗口的连接操作，提出了一些新的卸载技术，使得系统在过载的情况下通过丢弃连接结果少的元组，达到减轻系统负载使系统稳定的目的，同时得到连接结果的最大子集。对合成数据集和真实数据集的全面测试表明，本文提出的卸载策略的性能均好于现有其它方法。\n 在这方面的主要内容包括：\n (1)提出双窗口模型的概念：在分析数据流基于窗口连接操作模型及代价模型的基础上，建立了包括连接窗口和辅助窗口在内的双窗口模型，前者用于两个流的连接操作，后者用于建立预估连接结果的统计信息，为语义卸载提供有效支持。分别采用了窗口计数器、预估数组和频率数组来维护相应统计信息，并在实际中使用树状数组取代频率数组以提高计算效率；\n (2)提出前后端卸载的策略：在双窗口模型上采用了前后端卸载的方法，经分析和推导证明了在不同数据流速情况下，通过前端卸载和后端卸载的配合使用，前端采用随机卸载而后端采用理想的语义卸载，从而得到连接结果的最大子集；\n (3)提出了当输入流流速比发生变化时资源重新配置策略：通过重新分配CPU资源使两个输入流能够保持同步；通过重新配置窗口大小，证明了当输入流速比发生变化时辅助窗口内的统计信息仍然保持有效性；\n (4)提出新颖的“后端卸载”方法：在流速达到一定阈值需要启动后端卸载时，采用让元组进入相应连接窗口不进行探测操作，在节省CPU资源的同时保证了产生尽可能多的连接结果数。

关键词：流数据管理数据流卸载自适应框架服务质量实时调度 PID控制器滑动窗口连接

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：