检索结果-内蒙古大学图书馆

作者：谢天宇东华大学

学位级别：硕士

Internet的蓬勃发展,网络已经在人们的日常生活中扮演着越来越重要的角色。但是,随之而来的网络攻击手段也愈来愈复杂化、多元化、智能化。如何保证网络不受网络攻击入侵破坏受到人们的重视。入侵检测作为一种能够主动发现攻击行为的技... 详细信息

Internet的蓬勃发展,网络已经在人们的日常生活中扮演着越来越重要的角色。但是,随之而来的网络攻击手段也愈来愈复杂化、多元化、智能化。如何保证网络不受网络攻击入侵破坏受到人们的重视。入侵检测作为一种能够主动发现攻击行为的技术,有效地弥补了防火墙技术等传统安全防护技术的缺陷。随着不断增大的网络规模和网络流量,传统的入侵检测系统结构暴露出越来越多的局限性和缺陷,如工作量大、响应速度慢、处理能力不足问题和单点失效问题。本文设计了一个基于Hadoop集群的分布式入侵检测系统。采用分布式的三层体系结构：检测代理为第一层,负责检测入侵行为产生安全事件；数据收集器为第二层,处理第一层的数据；基于Hadoop集群构建的监控中心位于第三层。首先,本文介绍了入侵检测的定义、重要性和方法。分析了高速网络环境下的入侵检测系统所面临的主要问题和影响因素。随后,重点介绍了常见的三种分布式入侵检测系统的架构：集中分布式、层次分布式和对等协作式,并且研究比较了它们三者之间的优势和缺点。再后,本文研究分析了Hadoop集群技术,对它的两大核心技术HDFS分布式文件系统和mapreduce并行编程模型进行了细致的研究。然后,文章讨论了本系统的整体架构设计。并分析了系统组件的功能设计以及架构设计中的关键技术。再后,讨论了本系统的几个关键组件设计与实现。最后,论文提出了一种基于mapreduce编程模型的FP-Growth算法,用于解决在传统的关联规则算法无法处理海量入侵记录的问题。该算法的核心思想是：将无法基于内存构建的FP-树分解为多棵FP-子树,通过对子树的挖掘,得到全局的频度模式。根据实验结果,该算法在处理规模较大的数据时,随着计算节点的增加,算法性能也呈线性比例提升。

关键词：分布式入侵检测层次分布式 Hadoop集群 mapreduce编程模型关联规则算法

来源：评论

学校读者我要写书评

暂无评论

云计算环境下朴素贝叶斯文本分类算法的实现

引用

计算机应用 2011年第9期31卷 2551-2554,2566页

作者：江小平李成华向文张新访中南民族大学电子信息工程学院武汉430074 华中科技大学计算机科学与技术学院武汉430074

采用分布式编程mapreduce模型研究了文本统一格式预处理、训练、测试以及分类等基于朴素贝叶斯文本分类算法主要计算过程的mapreduce并行化方法,并在Hadoop云计算平台进行了实验。实验结果表明:朴素贝叶斯文本分类算法mapreduce并行化后... 详细信息

采用分布式编程mapreduce模型研究了文本统一格式预处理、训练、测试以及分类等基于朴素贝叶斯文本分类算法主要计算过程的mapreduce并行化方法,并在Hadoop云计算平台进行了实验。实验结果表明:朴素贝叶斯文本分类算法mapreduce并行化后在Hadoop云计算平台上部署运行,具有较好的加速比,对中文网页文本分类识别率达到了86%。

关键词：云计算并行计算 mapreduce编程模型文本分类朴素贝叶斯算法

来源：评论

学校读者我要写书评

暂无评论

基于hadoop的多层次局部动态并行化技术研究

基于hadoop的多层次局部动态并行化技术研究

引用

作者：王晓玮中国科学院研究生院

学位级别：博士

随着海量数据时代的到来，能够有效的存储和处理大规模数据的平台受到越来越广泛的关注。这些平台大多利用了集群的分布式处理和节点的多核并行计算能力。其中以mapreduce编程模型为基础的处理框架尤为突出。这些平台从宏观的角度关注... 详细信息

随着海量数据时代的到来，能够有效的存储和处理大规模数据的平台受到越来越广泛的关注。这些平台大多利用了集群的分布式处理和节点的多核并行计算能力。其中以mapreduce编程模型为基础的处理框架尤为突出。这些平台从宏观的角度关注资源的有效使用，衡量集群的负载均衡。但是mapreduce是一个阶段并行模型，它按序执行的特点会造成某一时间点节点资源使用的不均衡，所以从微观角度看，mapreduce系统并未在任何时刻都有效地利用节点的各种资源。同时这种按序执行也对数据依赖型作业组产生影响，由于依赖作业不能提前调度，使得节点IO和CPU资源处于空闲。\n 目前大多数系统为克服mapreduce的严格按序执行而提出的策略主要是以数据流为基础的并行，即任务之间通过使用数据流水线而达到任务的提前执行。由于没有从资源的角度进行考虑，会造成资源使用的冲突。而且非固化的数据流会使错误恢复变得复杂。而对于依赖作业支持方面，大多数系统只是在mapreduce之上封装了一些可以表示依赖作业的接口，或是一些数据结构，但是真正mapreduce的核心调度层还是无法区分普通作业和依赖作业组。\n 基于大规模数据处理的重要性以及目前系统对节点资源有效使用的解决方案的不完善性，本文提出了以流水线方式为基础的局部动态并行化技术，并将该技术运用到开源的mapreduce框架badoop上。\n 局部动态并行化技术从两方面展开：同种任务内的并行化和数据依赖犁作业间的并行化。任务内的并行化采用的是资源流水线思想：首先将一个任务划分成具有不同资源使用倾向的子阶段，之后通过动态的改变slot的数量使得任务可以提前执行，实现同一时刻资源使用的互补。数据依赖型作业间的并行化采用的是数据流水线的思想：在两个依赖的作业之间开设一个数据缓冲池，当部分数据产生时，就可以开始调度下一个作业对应的Map任务。虽然以上两种并行化技术可以使资源互补使用，但是由于每一个子阶段执行时间的不同仍然可能会造成资源的冲突。本文通过系统的资源配置设定一些限制从而决定何时动态的启动任务或何时任务可以进入下一阶段。这些限制在任务内的并行技术中主要体现在代表资源的多种slot的设置上，在依赖作业间主要体现在根据Reduce任务执行数量变化的实时调度上。最后本文基于以上两种流水线技术总结出多阶段并行模型，从而指导并行框架的调度。\n 本文对并行化技术和模型进行了实现并做了实验验证。实验证明任务内的并行化技术可以使节点的资源使用率得到6％至10％的提升，执行时间获得5％到15％的平均提升。而作业间的并行化技术也使依赖作业组执行时间降低。

关键词： mapreduce编程模型流水线局部动态并行 hadoop手机

来源：评论

学校读者我要写书评

暂无评论

面向mapreduce的工作流扩展与执行优化技术研究

面向MapReduce的工作流扩展与执行优化技术研究

引用

作者：吴容中国科学院研究生院

学位级别：博士

由于易用性和良好的扩展性，google提出的mapreduce编程模型被广泛应用于各类大规模数据处理和分析项目中。在实际应用中，一个分析项目往往需要分解成多个mapreduce作业，且这些计算作业和其之间的数据依赖关系共同组成了复杂的计算工... 详细信息

由于易用性和良好的扩展性，google提出的mapreduce编程模型被广泛应用于各类大规模数据处理和分析项目中。在实际应用中，一个分析项目往往需要分解成多个mapreduce作业，且这些计算作业和其之间的数据依赖关系共同组成了复杂的计算工作流。\n 现有的面向mapreduce的工作流平台在支持含有迭代计算的mapreduce工作流时存在一些不足。首先，现有工作流描述方法不能描述含有迭代计算的工作流。其次，现有工作流作业调度机制对工作流执行优化问题考虑较少。再次，现有mapreduce工作流平台依靠分布式文件系统实现作业间数据传递，这样，作业间的计算并行性就无法得以实现，从而影响到资源的利用率和工作流的执行效率。\n 基于以上现有工作流平台的不足之处，本文旨在完善工作流描述方法，研究含有迭代计算的mapreduce工作流的解析和调度方法，以及工作流中作业间数据传递机制等执行优化技术。\n 本文主要工作总结如下：\n 1.提出扩展的mapreduce工作流描述语言。该语言提出决策节点和决策类的概念以支持用户定义带有迭代计算的工作流，并能够指定迭代终止条件，以及循环结束前后的数据流向。\n 2.提出一种迭代消解算法，用于自动化解析和调度带有迭代计算的工作流。这种迭代消解算法主要思想是根据决策节点的决策结果而动态寻找当前的极大DAG子工作流。\n 3.提出DAG工作流调度优化策略。这种策略包括DAG工作流分组策略和作业节点有序组调度和映射策略。前者使得没有数据依赖关系的作业得以并行提交。后者则是根据负载均衡，数据依赖任务邻近化原则，针对迭代计算静态数据优化等来对作业节点中的任务进行映射。后者和作业间数据传递机制共同达到提高作业间执行并行化的效果。实验表明分组算法能够缩短了工作流总体执行时间大约10％-20％。\n 4.提出作业间的分片推式数据传递。这种数据传递机制下，源节点任务一边计算一边周期性的将数据分片的推送给目的节点，目的节点任务读取先收取到数据分片并以后立刻开始计算。这种数据传递机制使得有数据依赖关系的任务的执行得以并行化，从而使得依赖作业的执行得以并行化。实验表明作业调度和映射策略与作业间推式数据传递机制能够缩短工作流总体执行时间大约20％-60％。

关键词： mapreduce编程模型 hadoop手机工作流迭代计算作业调度数据传递

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的汉字识别的研究与实现

基于MapReduce的汉字识别的研究与实现

引用

作者：刘煜星华南理工大学

学位级别：硕士

汉字识别是模式识别的一个重要分支,它主要研究如何利用计算机自动识别纸质上的汉字。随着信息化程度的不断提高,我们在日常工作中经常需要将大量的纸质文档资料转换成计算机可存储的电子文档。汉字识别技术的发展帮助我们不需要手工输... 详细信息

汉字识别是模式识别的一个重要分支,它主要研究如何利用计算机自动识别纸质上的汉字。随着信息化程度的不断提高,我们在日常工作中经常需要将大量的纸质文档资料转换成计算机可存储的电子文档。汉字识别技术的发展帮助我们不需要手工输入就可以完成这些转换工作。但是,随着我们需要进行转换的数据量的不断增大,传统的汉字识别算法在效率上已经不能满足我们的要求。因此,我们提出将汉字识别算法并行化的策略。通过对目前相当热门的Hadoop技术作深入的研究后,我们发现可以利用Hadoop提供的mapreduce编程模型来实现并行汉字识别算法。 mapreduce是由Google率先提出的编程模型,该模型支持大规模数据的并行处理。mapreduce分成两个执行阶段:map阶段,它处理输入数据然后生成中间键值对数据;reduce阶段,获取map产生的键值对,此时键值对的值是一个列表,经过处理后输出结果。本文在深入研究了mapreduce编程模型的相关技术以及汉字识别算法之后,分析了传统的汉字识别算法存在的问题,然后提出并行汉字识别算法,并总结了并行汉字识别算法的优越性。接着提出了使用mapreduce编程模型来实现并行汉字识别算法的两种设计方案。重点阐述了如何使用mapreduce的map函数和reduce函数来实现并行汉字识别算法。另外,我们还分析了在Hadoop系统使用不同的作业调度算法的情况下两种设计方案的执行过程。基于本文设计的并行汉字识别算法,我们设计与实现了完整的汉字识别系统。它实现了客户端供用户提交识别作业请求,还实现了运行在Hadoop系统上的并行汉字识别算法的mapreduce程序。这样的设计使得系统具有可扩展、易维护更新等特点。本文最后通过一系列的实验来测试汉字识别系统的正确性、高效性以及可靠性。对比了并行汉字识别算法与传统汉字识别算法在大规模数据下的表现。

关键词： Hadoop平台 Hadoop分布式文件系统 mapreduce编程模型汉字识别

来源：评论

学校读者我要写书评

暂无评论

高性能计算体系结构下的海量数据处理分析与优化

高性能计算体系结构下的海量数据处理分析与优化

引用

作者：黄訸国防科学技术大学

学位级别：硕士

本文的研究内容是探索如何在高性能计算机上搭建海量数据处理平台,高效地实现海量数据处理。首先,阐述了在高性能计算机上进行海量数据处理的难点和重大意义,分析了在高性能计算机上处理数据密集型应用,部署mapreduce架构的必要性、可... 详细信息

本文的研究内容是探索如何在高性能计算机上搭建海量数据处理平台,高效地实现海量数据处理。首先,阐述了在高性能计算机上进行海量数据处理的难点和重大意义,分析了在高性能计算机上处理数据密集型应用,部署mapreduce架构的必要性、可行性、以及可能遇到的问题。其次,通过实验对高性能计算机上mapreduce架构的性能进行评测。分别在不同的节点规模下、基于不同的存储系统、对不同类型应用的性能进行了评测。通过评测发现,分布式文件系统(DFS)的I/O性能可以随着节点数目的增加线性扩展,而集中存储系统的I/O性能则受限于集中存储系统中磁盘阵列的规模,所以在节点数目增加的情况下,基于DFS的测试性能要好得多。再次,建立了RA-mapreduce性能预测模型。通过详细分析mapreduce作业各个阶段的执行过程,把执行mapreduce应用的性能(主要通过作业总的时间开销来反映)与应用特性参数以及集群硬件环境特性参数关联起来。通过该模型,可以计算出不同体系结构和硬件资源环境下,处理不同类型的数据密集型应用时,mapreduce作业各个阶段的时间开销,以及计算开销、数据I/O开销等在各个阶段中所占的比例。利用RA-mapreduce性能预测模型,既可以预测在特定硬件环境下运行某一特定mapreduce应用能够获得的最佳性能,也可以分析出影响mapreduce应用性能的瓶颈因素,以及增加某一类集群硬件资源能够获得的性能提升。接下来,针对高性能计算机数据I/O能力有限,可能无法满足当前数据密集型应用需要的问题,提出了对高性能计算机上mapreduce架构设计的优化,即中间结果网络数据传输优化和中间结果本地存储优化。最后,把RA-mapreduce性能预测模型与实验数据结合起来,验证了模型的正确性。通过模型分析和实验验证两个方面,分别证明了中间结果网络数据传输优化和中间结果本地存储优化,在高性能体系结构下的有效性。在本文的实验中,存储系统的I/O是系统性能的主要瓶颈,而中间结果本地存储优化减轻了集中存储系统的负担,很好地改善了系统的性能。实验证明,基于集中存储系统排序1TB数据,加入中间结果本地存储优化后,性能提升了32.5%。

关键词：高性能计算机海量数据处理 mapreduce编程模型

来源：评论

学校读者我要写书评

暂无评论

基于Hadoop的K近邻分类算法的研究

基于Hadoop的K近邻分类算法的研究

引用

作者：文思华南理工大学

学位级别：硕士

在过去的十年里,云计算技术在世界范围内迅速的发展,云计算技术强大的计算能力为海量数据挖掘提供了新的生机,将海量数据挖掘算法迁移到云计算平台具有非常重要的现实意义。Hadoop是目前最为流行的开源云计算平台,它以海量数据处理为核... 详细信息

在过去的十年里,云计算技术在世界范围内迅速的发展,云计算技术强大的计算能力为海量数据挖掘提供了新的生机,将海量数据挖掘算法迁移到云计算平台具有非常重要的现实意义。Hadoop是目前最为流行的开源云计算平台,它以海量数据处理为核心,本文也以其为平台对数据挖掘算法——K近邻算法进行研究。本文的主要工作有以下两点: （1） K近邻算法思想简单,分类效果良好,但是该算法的分类时间会随着训练样本数的增加以平方级别增大。目前针对这一问题的改进主要从加速搜索速度和压缩训练样本两方面进行。本文从压缩训练样本方面提出了一种基于决策边界的压缩K近邻算法简称为DBCNN。算法以分类边界附近的样本点对分类的贡献率大,而远离分类边界的样本点对分类的贡献率小为理论基础,通过计算训练样本中的样本点在非自身类别的样本集中的K近邻来寻找分类边界附近的样本点,并以此为依据压缩训练样本,从而提高算法的分类效率。实验证明:DBCNN算法能够以尽可能少的分类精度损失来压缩训练样本。（2） DBCNN算法时间复杂度O （ k~2n~2）,随着训练样本数的增加,其计算量以平方级别增长,面对海量数据处理时,是DBCNN算法的一个瓶颈。利用Hadoop平台对海量数据处理的优势,本文通过深入分析DBCNN算法的实现环节,证明DBCNN算法的可并行化,根据Hadoop平台的编程模型mapreduce设计并行方案并实现。通过实验证明:数据量越大,随着Hadoop节点数和算法并行度的增加,Hadoop集群相对于单机上的运行效率的相对加速比也就越大。

关键词：云计算压缩样本 DBCNN算法 Hadoop mapreduce编程模型

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的数据聚集运算处算法研究与实现

基于MapReduce的数据聚集运算处算法研究与实现

引用

作者：高伟东北大学

学位级别：硕士

信息化技术的不断深入应用，特别是网络技术的迅速发展，导致了数据的规模急剧增长。因此，如何保证海量数据的有效存储和管理，提高针对海量数据的处理效率成为人们日益关注的焦点。聚集运算是数据预处理中最典型操作之一，对提高查询... 详细信息

信息化技术的不断深入应用，特别是网络技术的迅速发展，导致了数据的规模急剧增长。因此，如何保证海量数据的有效存储和管理，提高针对海量数据的处理效率成为人们日益关注的焦点。聚集运算是数据预处理中最典型操作之一，对提高查询效率有着非常重要的意义，但是聚集运算非常耗费计算资源，特别是针对海量级别数据的聚集运算，更是需要巨大的计算能力和存储能力，而普通的PC机难以提供这样的计算资源，所以研究适合海量数据的聚集运算具有重要意义。\n 本文通过详细研究了Google的分布式文件系统(GFS)以及mapreduce并行计算框架，充分利用该分布式文件系统的高扩展型、高容错性等特性，结合mapreduce在处理大规模数据集时的并行性处理特性，提出了一组面向海量数据的数据聚集运算算法，该组算法主要包括基于mapreduce的关系型数据的选择、投影以及等值连接等算法，并在此基础之上，实现了基于mapreduce的计数（Count）、求和(Sum)、均值(Average)、最大值(Max)和最小值(Min)等聚集运算，形成了比较完整的面向海量数据的聚集运算算法。该套算法充分利用了集群系统的计算能力和存储能力，以及集群系统的网络带宽，极大的提高了海量数据的聚集运算效率，有效地减少了的运算时间，提高了基于聚集运算结果上的数据查询效率。\n 本文还在以上聚集运算算法的基础上，实现了基于mapreduce的全局封闭数据立方体生成算法，以及在全局封闭数据立方体上的查询算法。实验表明该算法充分发挥了集群系统的并行处理能力，可以高效的生成全局封闭数据立方体以及快速的完成在其上的查询任务。

关键词：数据立方体聚集运算 mapreduce编程模型信息化技术

来源：评论

学校读者我要写书评

暂无评论

基于MPI和mapreduce的分布并行计算研究

基于MPI和MapReduce的分布并行计算研究

引用

作者：陈月燕南京师范大学

学位级别：硕士

并行计算是提高计算机系统计算速度和处理能力的一种有效手段。MPI是目前开发并行应用程序的主要编程模型——消息传递编程模型的事实标准。Hadoop是一个在集群上处理大级别数据量的分布式并行编程框架,实现了Google的mapreduce编程模型... 详细信息

并行计算是提高计算机系统计算速度和处理能力的一种有效手段。MPI是目前开发并行应用程序的主要编程模型——消息传递编程模型的事实标准。Hadoop是一个在集群上处理大级别数据量的分布式并行编程框架,实现了Google的mapreduce编程模型,是目前最为广泛应用的开源云计算软件平台。随着PC机性能的大幅度提高和网络技术的迅速发展,并行计算平台在普通PC机构建的机群上能够很好的应用,使得并行计算得以普遍应用。\n 本文从应用和研究的角度,对MPI并行编程模型和Hadoop分布式编程框架的相关理论进行了详细的分析,设计了基于MPI的分子动力学模拟,对Hadoop作业调度算法进行了改进。论文主要的工作如下:\n 1.介绍了并行计算的相关理论,论述了MPI主要的接口函数、通信机制、程序设计平台搭建等,研究MPI实现并行计算的机制和方法,对云计算、Hadoop的分布式计算模型mapreduce和分布式文件系统HDFS、Hadoop容错机制进行分析和研究,总结了MPI与Hadoop的相同和不同点。\n 2.设计了基于MPI并行编程模型的分子动力学并行模拟,在此基础上通过改变模拟参数进行实验。通过不同时间步数串行程序和并行程序耗时比较,分析模拟规模和模拟时间增加的关系,通过多节点多进程并行程序实验结果分析节点个数和进程个数对计算时间的影响和系统的并行加速比。另外,本文通过通信时间分析计算节点个数和计算耗时的下降速率之间的关系,分析MPI聚合通信函数的执行效率。\n 3.将Linux进程调度策略的时间片轮转和动态优先级相结合的调度思想应用在Hadoop作业调度中,考虑公平原则和分布式计算的本地性原则,结合失效节点任务重新分配的问题,在PBWRR算法的基础上给予改进,并且给出算法的模拟实验。通过算法性能评测,改进算法能较好的实现多个作业按照优先级、大小和等待时间公平的调度,系统利用率较高,并且能很好的处理失效节点任务的重新分配。

关键词：分布并行计算 MPI 分子动力学模拟 mapreduce编程模型调度算法

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：