检索结果-内蒙古大学图书馆

作者：李茂增北京工业大学

学位级别：硕士

数据流管理系统是实时处理大量、快速、无界的数据流的系统,数据流本身的特点及面向流的应用需求对数据流管理系统实时、高效、稳定的查询需求提出了诸多挑战。本文从系统查询的高效性和稳定性两个角度出发,研究了数据流查询中查询优化... 详细信息

数据流管理系统是实时处理大量、快速、无界的数据流的系统,数据流本身的特点及面向流的应用需求对数据流管理系统实时、高效、稳定的查询需求提出了诸多挑战。本文从系统查询的高效性和稳定性两个角度出发,研究了数据流查询中查询优化和负载脱落两个方面的问题,设计了相应的模型和算法,并实现了一个数据流查询原型系统。\n 针对查询优化,本文从查询共享和查询调度两方面开展工作。查询共享即通过对数据流管理系统中相同或相似的存储结构和处理过程进行共享,达到减少重复存储和计算、提高系统效率的目的。针对数据流存储共享,本文设计了数据流查询过程中中间结果的存储结构,并设计了基于索引的共享队列二级间接存储算法,使得中间结果存储得到一定程度的共享。针对多查询操作共享,本文设计了相同查询操作提取的算法,通过对查询操作中相同计算资源的共享,减少了系统的处理开销。\n 针对查询调度,考虑到操作符在运行时轻重缓急的不同,本文采取为每个操作符设置优先级并根据优先级调度操作符的策略,设计了PriOperator模型,综合考虑了影响操作符优先级的四个因素,并通过为每个因素设定系数的方式,计算得到操作符的优先级并进行调度。然后,本文引入了基于模拟退火算法的人工神经网络方法,以影响系统性能的两个因素作为反馈,对影响操作符优先级的四个因素的待定系数进行学习,并将学习结果运用到操作符优先级的重新计算中,在节省系统存储空间的同时提高了系统查询的效率。\n 对于负载脱落问题,本文以存在连接操作符的情况时基于语义的负载脱落为重点,从负载脱落的时机、数量和位置三个方面展开研究。通过监测系统的负载状态,并在负载达到一定程度时进行预警,在缩小连接操作符滑动窗口的基础上,给出了负载脱落解决方法。同时,本文设计了一种语义学习机制,对相应元组属性进行监测并动态学习元组命中率状况,根据学习的结果确定语义负载脱落的谓词,使得系统负载脱落时能够尽可能提高系统准确性。在负载量减少时,算法能自适应性地删除负载脱落操作符,增加系统查询的准确度。\n 最后,结合本文研究的内容,设计并实现了一个数据流查询系统,作为本文相关设计模型及算法的运行平台。

关键词：数据流管理查询优化负载脱落技术

来源：评论

学校读者我要写书评

暂无评论

开放式水声系统实时数据流管理中间件研究

开放式水声系统实时数据流管理中间件研究

引用

作者：王杨忠东南大学

学位级别：硕士

近年来，随着各国对海洋资源的日益重视，在水声领域产生了许多新的应用需求。由于各种条件的限制，及时部署新系统具有一定的难度。在这种形势下，开放式水声系统在通用化、标准化、模块化、简单化的发展思路下，摆脱了型号平台发展的... 详细信息

近年来，随着各国对海洋资源的日益重视，在水声领域产生了许多新的应用需求。由于各种条件的限制，及时部署新系统具有一定的难度。在这种形势下，开放式水声系统在通用化、标准化、模块化、简单化的发展思路下，摆脱了型号平台发展的限制，通过升级改造现有装备以期能迅速缩短与需求之间的差距。\n 本论文研究的对象是基于开放式结构的水声系统实时数据流管理中间件，该中间件为开放式水声系统提供一个高效的实时数据流管理平台，实现多通道、大容量实时数据流的分布式灵活配置与传输。论文的主要内容如下：\n 1、大容量分布式实时数据流的管理和传输是开放式水声系统实时数据流管理中间件研究所面临的首要挑战。为了能保证分布式结构下数据传输的实时性和可靠性，本论文在RTCC协议的基础上，提出了基于以太网的硬实时通信调度框架。\n 2、为了实现开放式结构下应用端能分辨所获取的每个数据的明确语义，本论文根据水声系统实时数据处理的特点，提出了一种水声数据结构规范。\n 3、构建了基于PUSH结构的开放式水声系统实时数据流传输模型，结合RTCC实时通信框架完成开放式结构下水声系统数据的实时传输。

关键词：数据流管理中间件水声系统

来源：评论

学校读者我要写书评

暂无评论

信息处理设备和方法

信息处理设备和方法

引用

作者：种田仁一日本东京都

一种数据处理设备，在本地环境中具有基于与本地命令组独立地定义的命令集所配置的、用于动态执行程序的解释程序环境。在本地环境下，将输入数据流分成多个阶段，并且在各状态生成中间数据流。在解释程序环境下，中间数据流经过滤波处... 详细信息

标准号: CN101331453B

一种数据处理设备，在本地环境中具有基于与本地命令组独立地定义的命令集所配置的、用于动态执行程序的解释程序环境。在本地环境下，将输入数据流分成多个阶段，并且在各状态生成中间数据流。在解释程序环境下，中间数据流经过滤波处理，并且生成滤波后的数据流。通过层接口将中间数据流传递给滤波器。数据流管理属性模块从中间数据流提取预先指定的项目的信息，并且基于该信息的内容，对将中间数据流传递给滤波器进行控制。因此，可以基于数据流中的描述，对是否应用滤波处理进行控制，从而实现高效数据流处理。

关键词：中间数据流数据流滤波器本地环境解释程序进行控制滤波处理中间数据数据处理设备数据流处理数据流管理本地命令动态执行多个阶段属性模块滤波

来源：评论

学校读者我要写书评

暂无评论

无线传输系统及其方法、计算机系统

无线传输系统及其方法、计算机系统

引用

作者：林永森中国台湾台北县

本发明为一种无线传输系统及其方法、计算机系统。该无线传输系统包括控制单元、第一传输单元、第二传输单元、多个切换器及多个射频传输端。第一传输单元包括第一收发模块以及第一媒体存取控制模块。第二传输单元包括第二收发模块以及... 详细信息

标准号: CN101741652B

本发明为一种无线传输系统及其方法、计算机系统。该无线传输系统包括控制单元、第一传输单元、第二传输单元、多个切换器及多个射频传输端。第一传输单元包括第一收发模块以及第一媒体存取控制模块。第二传输单元包括第二收发模块以及第二媒体存取控制模块。多个射频传输端具有多个数据流，用以传递无线信号。其中控制单元控制多个切换器，以使第一传输单元及第二传输单元分别连接多个射频传输端以分配多个数据流，并同时控制第一收发模块及第二收发模块以执行数据流管理。本发明既可以达到所需的传输效果，还不需要另外增加一组无线传输系统。

关键词：传输单元收发模块无线传输系统传输端射频媒体存取控制数据流切换器数据流管理传输效果无线信号计算机系统连接

来源：评论

学校读者我要写书评

暂无评论

一种TCP数据流并行分析方法

一种TCP数据流并行分析方法

引用

作者：侯勇军 610041 四川省成都市高新区府城西段399号天府新谷5号楼10层

本发明公开了一种TCP数据流并行分析方法，它主要采用了可伸缩性、可扩展的模块化设计的技术手段、采用多线程异步工作模式。TCP数据流管理模块循环处理数据包的TCP数据流，TCP数据流分析控制模块循环分析处理传入该模块的TCP数据流，... 详细信息

标准号: CN101527719B

本发明公开了一种TCP数据流并行分析方法，它主要采用了可伸缩性、可扩展的模块化设计的技术手段、采用多线程异步工作模式。TCP数据流管理模块循环处理数据包的TCP数据流，TCP数据流分析控制模块循环分析处理传入该模块的TCP数据流，并通过一种数据关系的方式相互链接到一起，从而形成了一个功能强大，性能高效的并行分析系统，从而实现了使TCP数据流管理模块与TCP数据流分析控制模块同步运行，提高网络分析系统的数据处理效率、扩大了使用范围。同时由于有了CPU多核化技术的硬件支持使TCP数据流管理模块和TCP数据流分析控制模块由不同的CPU来负责管理，提高每一个模块的处理效率，使网络分析效率优化更加明显。

关键词：数据流分析数据流管理数据流控制模块并行分析伸缩性数据处理效率网络分析系统异步工作模式模块化设计技术手段数据关系网络分析效率优化循环处理循环分析硬件支持多线程数据包多核扩展管理

来源：评论

学校读者我要写书评

暂无评论

数据流闭频繁模式挖掘算法研究

数据流闭频繁模式挖掘算法研究

引用

作者：姜苗合肥工业大学

学位级别：硕士

由于数据流的流动性、无限增长的特点,传统的数据管理技术已经无法有效的管理数据流中的数据,因此,有必要对数据流管理中的一些新技术做些研究。整个数据库界已经开始关注数据流管理技术。\n 自动控制、计算机、图形图像、网络等多... 详细信息

由于数据流的流动性、无限增长的特点,传统的数据管理技术已经无法有效的管理数据流中的数据,因此,有必要对数据流管理中的一些新技术做些研究。整个数据库界已经开始关注数据流管理技术。\n 自动控制、计算机、图形图像、网络等多个领域的知识都涉及到系统仿真技术。数据挖掘技术可以获取仿真数据中隐藏的知识。仿真系统复杂程度越高和规模越大,仿真时间会越长,需要的空间也越大。可见,仿真数据具有数据流的特征,可以用数据流挖掘技术处理仿真数据。关联规则是仿真系统常选择的一类挖掘任务。研究生阶段,本人主要研究了频繁模式在数据流中的应用。其中,重点研究如何在数据流上挖掘闭频繁集。\n 本文提出了一种挖掘数据流时间窗口中闭频繁项集的方法NEWT-Moment。在单遍扫描数据流各事务的情况下,该方法能完整地记录模式信息。同时,NEWT—Moment提出的减枝方法能很好地降低滑动窗口树F—tree的空间复杂度与闭频繁模式树NEWT-tree的维护代价。此外,该方法提出的时间衰减机制能区分历史和最新模式对挖掘结果的影响。另外,NEWT—tree直接存储闭频繁项集,可随时快速读取闭频繁项集。和T—moment算法相比,算法不需要删除历史数据,不需要记录事务时标,不需要标记各节点,在一定程度上,可降低算法的时间和空间复杂度。大量实验结果表明,NEWT—Moment有很好的效率和准确性。

关键词：系统仿真数据流管理频繁闭项集时间窗体衰减模式 T—moment算法

来源：评论

学校读者我要写书评

暂无评论

条件过滤器的自适应排序调度策略

引用

信息工程大学学报 2011年第5期12卷 623-629,640页

作者：刁静赵荣彩张铮邰铭刘勇信息工程大学信息工程学院河南郑州450002

自适应调度是以满足系统某一性能指标要求为目的,对数据查询中的算子进行动态调度的系统优化技术。针对选择查询中可交换顺序的条件过滤器的排序问题,设计了自适应过滤器排序算法,它以静态贪心算法为基础,通过滑动窗口机制模拟出过滤器... 详细信息

自适应调度是以满足系统某一性能指标要求为目的,对数据查询中的算子进行动态调度的系统优化技术。针对选择查询中可交换顺序的条件过滤器的排序问题,设计了自适应过滤器排序算法,它以静态贪心算法为基础,通过滑动窗口机制模拟出过滤器之间的条件选择性特征,构建了一个条件概率关系矩阵,以指导过滤器排序的动态优化,得到一个当前条件下处理开销最低的过滤器排序,在较低的运行开销条件下,提升了系统的处理能力。

关键词：数据流管理自适应调度选择过滤器滑动窗口条件概率

来源：评论

学校读者我要写书评

暂无评论

数据流管理系统Argus中并行处理机制的设计与实现

数据流管理系统Argus中并行处理机制的设计与实现

引用

作者：黄炎灿北京大学

学位级别：硕士

随着信息技术在金融、交通、军事、生态监测、网络监测等领域的深入应用，需要计算机处理的数据类型和数据量与日俱增。作为一种新的数据类型，数据流在近些年得到了计算机界的广泛关注。由于连续、无界、顺序、时变的特点，数据流上的... 详细信息

随着信息技术在金融、交通、军事、生态监测、网络监测等领域的深入应用，需要计算机处理的数据类型和数据量与日俱增。作为一种新的数据类型，数据流在近些年得到了计算机界的广泛关注。由于连续、无界、顺序、时变的特点，数据流上的查询处理和数据管理与传统的数据库管理系统有很大不同。我们北京大学数据库实验室也在国内率先自主开发了集中式的数据流管理系统 Argus。\n 本文主要研究现有的集中式数据流系统在面临海量查询时计算能力有限情况下的查询处理问题，即协同多个计算单元来构造并行数据流系统。\n 本文首先提出并行流系统的体系结构，并给出运行模式。然后全文重点讨论了并行流系统中采取的并行策略，主要是查询间并行和查询内并行两个层面。关于查询间并行，问题主要是多查询共享，我们分别考虑相同算子和相似算子的情形：对相同的算子，要采取最恰当的共享执行顺序；至于相似的算子，我们针对选择算子和窗口算子这两类最重要的算子分别给出共享算子模式的算法。关于查询内并行，我们考查划分数据流和划分查询这两种策略并分别给出算法。然后我们针对典型的并行处理策略给出一系列验证性实验。文章最后对未来的研究工作做了展望。

关键词：数据流管理并行处理机制查询间并行查询内并行数据库管理

来源：评论

学校读者我要写书评

暂无评论

聚类分析与案例推理在数据流管理中的应用研究

聚类分析与案例推理在数据流管理中的应用研究

引用

作者：忻凌合肥工业大学

学位级别：硕士

数据流挖掘是数据挖掘的一个新的研究方向，已经逐渐成为许多领域的有用工具。传统数据库除非时间标记被事先定义，否则只能存储未被实现定义时间的静态关系数据集。当这一模型在商业和个人信息中被广泛使用时，一些现有的应用软件需要... 详细信息

数据流挖掘是数据挖掘的一个新的研究方向，已经逐渐成为许多领域的有用工具。传统数据库除非时间标记被事先定义，否则只能存储未被实现定义时间的静态关系数据集。当这一模型在商业和个人信息中被广泛使用时，一些现有的应用软件需要对快速变化的数据流进行在线分析和处理。传统数据库管理系统在支持流应用时所表现出来的局限性已被广泛认识，这也促进了对改进现有技术和建造新的流数据管理系统的研究。现有的数据流系统的开发主要是围绕连续查询处理系统方面，而对于数据流挖掘方面的研究主要是对数据流系统的查询结果再次进行其他智能操作，如案例库挖掘、聚类挖掘、智能决策分析等。但很少有系统能够直接对数据流进行挖掘操作，这也大大降低了系统的实用性。由于众多应用领域的需求，近几年数据流处理问题，特别是数据流挖掘问题已受到越来越多研究人员的关注。而现有数据流系统的局限性以及数据流的单遍特性，导致很难有效地在海量的流数据中提取有用数据，并对其进行进一步操作。因此本文研究的主要内容是对现有的数据流管理系统的性能进行评述，并强调应用程序需求、数据模型、持续查询语言以及查询评估。在此基础上，对聚类分析与案例推理在数据流管理中的应用前景进行研究，并提出一种高效的数据流聚类算法和一个切实可行的对数据流进行查询、分析以及挖掘的数据流管理系统模型。本文提出了一种基于原有数据流系统、数据流聚类算法以及基于案例推理的新的数据流管理系统。该方案首先对现有的数据流系统的查询结果进行动态聚类分析，并从每一类中随机提取案例，形成所需要的案例库，为将来的进一步挖掘提供前提条件。本文阐述了所提出的数据流聚类算法以及数据流管理系统模型的基本构架，并在试验中得到了初步满意的结果。

关键词：案例推理数据流管理数据挖掘聚类

来源：评论

学校读者我要写书评

暂无评论

虚拟筛选海量并行任务管理系统中数据流的管理

虚拟筛选海量并行任务管理系统中数据流的管理

引用

作者：张华剑兰州大学

学位级别：硕士

虚拟筛选是在计算机上针对特定靶标蛋白筛选出最合适的候选药物的过程。随着网格计算技术的发展,科学家越来越倾向于利用网格环境进行药物的大规模虚拟筛选以减少新药研制的成本和时间。大规模虚拟筛选涉及海量数据,待筛选的小分子化合... 详细信息

虚拟筛选是在计算机上针对特定靶标蛋白筛选出最合适的候选药物的过程。随着网格计算技术的发展,科学家越来越倾向于利用网格环境进行药物的大规模虚拟筛选以减少新药研制的成本和时间。大规模虚拟筛选涉及海量数据,待筛选的小分子化合物通常数以百万计。在网格环境下进行基于分子对接的大规模虚拟筛选应用,通常的做法是科学家手动查询小分子化合物并分组,在网格平台上编辑多个对接作业依次对分组进行计算,手动下载所有对接结果。虽然利用了网格强大的计算能力,但是科学家的工作非常复杂和繁琐,并且需要学习大量计算机领域知识。以CSGrid网格平台为基础设计的海量并行任务管理系统,目的是实现大规模虚拟筛选应用在网格平台上的自动执行,从而将科学家从繁琐的工作中解脱出来。海量并行任务管理系统将虚拟筛选应用分成多个并行作业在网格平台上计算,作业流和数据流的管理非常重要。本文的研究重点,就是如何设计系统中的数据流管理功能,制定合理的数据流配置策略,使海量数据流配合并行作业调度策略,实现网格环境下大规模虚拟筛选应用的高效自动运行,提高网格资源的利用率。本文设计的数据流管理功能由三个模块实现。第一个模块是查询条件定制接口,该模块为用户提供了一个定制数据查询条件的图形编辑器：第二个模块是数据查询、分组及传输Web Service,该模块从分布式小分子化合物数据库中查询出符合条件的小分子化合物,按可旋转键数排序并分组,再将分组上传至需要数据的网格节点。第三个模块是统一数据管理空间,该模块提供了所有网格节点数据的全局视图,可以实现虚拟筛选结果的并行下载。本文重点从用户体验和实现技术方面对各个模块进行了深入的探讨。

关键词：虚拟筛选海量并行任务管理系统数据流管理 Web Service

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：