检索结果-内蒙古大学图书馆

作者：符伟华中科技大学

学位级别：硕士

以虚拟化技术为基础的云计算正成为研究人员关注的焦点，基于云计算的商业模型和学术研究不断涌现。在过去的几十年里，由多核和多处理器组成的高性能计算机为大规模复杂工程和科学问题提供了有效的解决办法，但目前的高性能计算应用具... 详细信息

以虚拟化技术为基础的云计算正成为研究人员关注的焦点，基于云计算的商业模型和学术研究不断涌现。在过去的几十年里，由多核和多处理器组成的高性能计算机为大规模复杂工程和科学问题提供了有效的解决办法，但目前的高性能计算应用具有很强的专业性、使用门槛高。云计算中常用的编程模型mapreduce对并行描述进行了高度抽象，通过简单的编程接口即可实现程序的自动并行化，这大大降低了并行程序开发的难度和分布式资源使用的门槛。有限元计算对计算资源的需求正随着工程问题规模的增大而不断增加，研究其在云计算环境下的实现有助于利用大量廉价的计算资源以完成复杂的工程问题求解，具有重要的探索意义。本文在充分调研科学计算向云计算环境迁移的基础上，通过开源云计算平台Hadoop搭建实验室的小型云计算环境，并将mapreduce编程模型引入到数值计算领域，研究了基于mapreduce编程模型的稀疏矩阵向量乘法、共轭梯度法等数值计算的并行策略和具体程序实现；结合mapreduce编程模型的优势和有限元计算的特点，通过适当的数据组织将有限元方法的单刚计算和总刚组装迁移到Hadoop平台下，提出了空间桁架系统线性问题求解的自动并行策略，并算法实现。数值实验表明，在Hadoop平台下运用本文所提出的策略和mapreduce编程模型进行有限元方法的并行计算具有简洁、易用的特性。算法在稀疏矩阵向量乘法、有限元组装等方面均取得了良好的计算性能，且随着计算规模和集群节点数目的增加，算法的计算效率越高，但目前方程组的求解效率有限，有待进一步的算法优化。

关键词：云计算 mapreduce编程模型 Hadoop 共轭梯度法有限元

来源：评论

学校读者我要写书评

暂无评论

Hadoop平台及其作业调度算法的研究

Hadoop平台及其作业调度算法的研究

引用

作者：张宜力安徽工业大学

学位级别：硕士

随着计算机技术迅猛发展和互联网运用高速的扩展，云计算作为现在炙手可热的分布式计算模式，改变了传统互联网的服务模式。这种由大量廉价的普通机器组成的集群，可以为用户提供计算能力、存储能力和信息服务，从技术上解决了当前互联... 详细信息

随着计算机技术迅猛发展和互联网运用高速的扩展，云计算作为现在炙手可热的分布式计算模式，改变了传统互联网的服务模式。这种由大量廉价的普通机器组成的集群，可以为用户提供计算能力、存储能力和信息服务，从技术上解决了当前互联网面临的海量数据处理、大规模并行计算和多用户等问题，给整个互联网带来了革命性的技术变革。 Hadoop作为一个应用广泛的分布式开源云平台具有高可靠性、良好的扩展性和低成本等优点。作业调度是影响Hadoop集群整体性能与资源利用率的一个重要因素，不仅关系着集群运行的有序性，而且是整个集群能否有效利用系统资源满足用户需求的关键。但是随着应用环境的变化，现存Hadoop的调度算法很难充分满足用户的多种需求，因此研究和改进现存的作业调度算法具有重大意义。通过认真分析Hadoop现有调度算法，提出了改进策略。⑴针对计算能力调度算法的缺陷提出一种基于优先级的计算能力加权调度算法。即根据作业的优先级和提交时间等因素来计算作业的权重，依据作业权重来排序作业队列，从而既可以避免调度陷入局部最优也能更好地满足作业的多样性服务要求。⑵综合考虑作业响应时间和任务数据本地化之间的矛盾，在延迟调度基础上对作业是否延迟调度做了进一步要求，以损失部分数据本地化来提高部分作业的响应时间。通过搭建Hadoop平台，对算法进行测试来验证算法的性能。实验结果表明基于优先级的计算能力加权调度算法提高了集群的效率并可以提前部分小作业的响应时间；对于实验延迟调度的改进算法虽然任务数据的本地化比延迟调度算法要低，但是达到了提高作业的响应时间的要求，算法的性能也比公平调度算法要好，体现了调度算法改进思想的效果。

关键词：云计算 Hadoop 作业调度 mapreduce编程模型

来源：评论

学校读者我要写书评

暂无评论

基于Hadoop的K近邻分类算法的研究

基于Hadoop的K近邻分类算法的研究

引用

作者：文思华南理工大学

学位级别：硕士

在过去的十年里,云计算技术在世界范围内迅速的发展,云计算技术强大的计算能力为海量数据挖掘提供了新的生机,将海量数据挖掘算法迁移到云计算平台具有非常重要的现实意义。Hadoop是目前最为流行的开源云计算平台,它以海量数据处理为核... 详细信息

在过去的十年里,云计算技术在世界范围内迅速的发展,云计算技术强大的计算能力为海量数据挖掘提供了新的生机,将海量数据挖掘算法迁移到云计算平台具有非常重要的现实意义。Hadoop是目前最为流行的开源云计算平台,它以海量数据处理为核心,本文也以其为平台对数据挖掘算法——K近邻算法进行研究。本文的主要工作有以下两点: （1） K近邻算法思想简单,分类效果良好,但是该算法的分类时间会随着训练样本数的增加以平方级别增大。目前针对这一问题的改进主要从加速搜索速度和压缩训练样本两方面进行。本文从压缩训练样本方面提出了一种基于决策边界的压缩K近邻算法简称为DBCNN。算法以分类边界附近的样本点对分类的贡献率大,而远离分类边界的样本点对分类的贡献率小为理论基础,通过计算训练样本中的样本点在非自身类别的样本集中的K近邻来寻找分类边界附近的样本点,并以此为依据压缩训练样本,从而提高算法的分类效率。实验证明:DBCNN算法能够以尽可能少的分类精度损失来压缩训练样本。（2） DBCNN算法时间复杂度O （ k~2n~2）,随着训练样本数的增加,其计算量以平方级别增长,面对海量数据处理时,是DBCNN算法的一个瓶颈。利用Hadoop平台对海量数据处理的优势,本文通过深入分析DBCNN算法的实现环节,证明DBCNN算法的可并行化,根据Hadoop平台的编程模型mapreduce设计并行方案并实现。通过实验证明:数据量越大,随着Hadoop节点数和算法并行度的增加,Hadoop集群相对于单机上的运行效率的相对加速比也就越大。

关键词：云计算压缩样本 DBCNN算法 Hadoop mapreduce编程模型

来源：评论

学校读者我要写书评

暂无评论

高速网络环境下的入侵检测系统的研究

高速网络环境下的入侵检测系统的研究

引用

作者：谢天宇东华大学

学位级别：硕士

Internet的蓬勃发展,网络已经在人们的日常生活中扮演着越来越重要的角色。但是,随之而来的网络攻击手段也愈来愈复杂化、多元化、智能化。如何保证网络不受网络攻击入侵破坏受到人们的重视。入侵检测作为一种能够主动发现攻击行为的技... 详细信息

Internet的蓬勃发展,网络已经在人们的日常生活中扮演着越来越重要的角色。但是,随之而来的网络攻击手段也愈来愈复杂化、多元化、智能化。如何保证网络不受网络攻击入侵破坏受到人们的重视。入侵检测作为一种能够主动发现攻击行为的技术,有效地弥补了防火墙技术等传统安全防护技术的缺陷。随着不断增大的网络规模和网络流量,传统的入侵检测系统结构暴露出越来越多的局限性和缺陷,如工作量大、响应速度慢、处理能力不足问题和单点失效问题。本文设计了一个基于Hadoop集群的分布式入侵检测系统。采用分布式的三层体系结构：检测代理为第一层,负责检测入侵行为产生安全事件；数据收集器为第二层,处理第一层的数据；基于Hadoop集群构建的监控中心位于第三层。首先,本文介绍了入侵检测的定义、重要性和方法。分析了高速网络环境下的入侵检测系统所面临的主要问题和影响因素。随后,重点介绍了常见的三种分布式入侵检测系统的架构：集中分布式、层次分布式和对等协作式,并且研究比较了它们三者之间的优势和缺点。再后,本文研究分析了Hadoop集群技术,对它的两大核心技术HDFS分布式文件系统和mapreduce并行编程模型进行了细致的研究。然后,文章讨论了本系统的整体架构设计。并分析了系统组件的功能设计以及架构设计中的关键技术。再后,讨论了本系统的几个关键组件设计与实现。最后,论文提出了一种基于mapreduce编程模型的FP-Growth算法,用于解决在传统的关联规则算法无法处理海量入侵记录的问题。该算法的核心思想是：将无法基于内存构建的FP-树分解为多棵FP-子树,通过对子树的挖掘,得到全局的频度模式。根据实验结果,该算法在处理规模较大的数据时,随着计算节点的增加,算法性能也呈线性比例提升。

关键词：分布式入侵检测层次分布式 Hadoop集群 mapreduce编程模型关联规则算法

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的新聚类算法在农业领域的应用——以柑橘红蜘蛛图像目标识别为例

引用

中国农机化学报 2016年第9期37卷 166-171页

作者：卞云超司秀丽吉林农业大学长春市130118

针对K-means聚类算法需要先给定k值,在一些应用场景中最优k值是未知的问题,提出基于评价机制的自适应K-means算法(SAK-means),并将该算法的核心步骤改写成Mapper/Reducer的形式,部署在Hadoop集群中。经过试验,该算法能够根据数据集的分... 详细信息

针对K-means聚类算法需要先给定k值,在一些应用场景中最优k值是未知的问题,提出基于评价机制的自适应K-means算法(SAK-means),并将该算法的核心步骤改写成Mapper/Reducer的形式,部署在Hadoop集群中。经过试验,该算法能够根据数据集的分布情况适当修正k值,特别适用于处理批量的、大尺寸的、最优k值非固定的聚类分析任务,并以批量的柑橘红蜘蛛图像目标识别为例进行验证,结果表明使用SAK-means算法无需给出最优的聚类中心数目,在一定范围内算法可以对聚类中心数目进行有效修正,对于实验中所选用的4幅图像,均可以达到100%的识别率与0%的误判率。进一步研究的方向是最优初始参数的选取,以及算法在集群中的扩展性与加速比。

关键词：并行计算聚类算法 mapreduce编程模型图像识别机器视觉

来源：评论

学校读者我要写书评

暂无评论

基于改进mapreduce模型的BP神经网络并行化研究

引用

通信技术 2018年第4期51卷 799-804页

作者：李楠于孟渤贾珍珍王一惠李昕宸邹淑雪吉林大学计算机科学与技术学院吉林长春130012

为了提高BP神经网络算法并行化速率,利用神经网络并行化思想,提出了一种基于Hadoop平台的改进Map Reduce编程模型及并行化的实现。采用Map Reduce编程模型,用神经网络训练集的一组样本的键/值替代单一键/值,通过分组标记将同一value值... 详细信息

为了提高BP神经网络算法并行化速率,利用神经网络并行化思想,提出了一种基于Hadoop平台的改进Map Reduce编程模型及并行化的实现。采用Map Reduce编程模型,用神经网络训练集的一组样本的键/值替代单一键/值,通过分组标记将同一value值对应的reduce工作方式分散为多个reduce进行工作,实现各个任务节点并行处理大数据,从而减少了处理大规模数据集的运行时间。选用不同大小数据集进行测试,通过与传统的神经网络并行化进行对比,发现改进后的Map Reduce并行编程模型提高了神经网络的并行速率,在处理大数据集时具有一定的优越性。

关键词： BP神经网络 mapreduce编程模型 mapreduce改进模型大数据集

来源：评论

学校读者我要写书评

暂无评论

mapreduce任务调度的资源优化研究

引用

互联网天地 2016年第11期 33-38页

作者：李琴贵州交通职业技术学院贵阳550008

现有的大数据处理技术以面向数据并行编程模型为核心,计算任务的并行化必然会面临计算任务调度策略和资源配置优化问题。简要分析了当前大数据处理技术,介绍了mapreduce编程模型及其支撑系统,重点分析了mapreduce任务调度的资源优化策... 详细信息

现有的大数据处理技术以面向数据并行编程模型为核心,计算任务的并行化必然会面临计算任务调度策略和资源配置优化问题。简要分析了当前大数据处理技术,介绍了mapreduce编程模型及其支撑系统,重点分析了mapreduce任务调度的资源优化策略研究现状,并对未来任务调度的资源配置优化提出了挑战。

关键词：大数据处理 mapreduce编程模型任务调度资源优化

来源：评论

学校读者我要写书评

暂无评论

基于Hadoop的分布式文件系统实现

引用

西华师范大学学报（自然科学版） 2015年第1期36卷 95-101页

作者：罗光明四川水利职业技术学院四川成都611230

为了解决现阶段海量数据的传输效率低下的问题,设计了基于Hadoop的分布式文件系统。系统是基于Hadoop的架构进行研究的,用mapreduce编程模型实现海量数据的上传与下载,从而达到数据的高效传输,并对其进行了传输性能测试。通过测试,基于H... 详细信息

为了解决现阶段海量数据的传输效率低下的问题,设计了基于Hadoop的分布式文件系统。系统是基于Hadoop的架构进行研究的,用mapreduce编程模型实现海量数据的上传与下载,从而达到数据的高效传输,并对其进行了传输性能测试。通过测试,基于Hadoop的数据传输效率远远大于传统的数据传输效率,该系统具有一定的实用性.

关键词： Hadoop分布式系统 mapreduce编程模型高效传输

来源：评论

学校读者我要写书评

暂无评论

云环境下K-means算法的并行化

引用

微型机与应用 2015年第24期34卷 25-27,31页

作者：何佩佩谢颖华数字化纺织服装技术教育部工程研究中心上海201620 东华大学信息科学与技术学院上海201620

随着大数据时代的到来,传统的聚类算法很难高效地处理海量数据,而云计算平台凭借负载均衡、网络存储、虚拟化等技术,有效地突破了耗时耗能的瓶颈,为海量数据的处理提供了良好的解决方案。主要研究了Hadoop平台下的mapreduce编程模型及传... 详细信息

随着大数据时代的到来,传统的聚类算法很难高效地处理海量数据,而云计算平台凭借负载均衡、网络存储、虚拟化等技术,有效地突破了耗时耗能的瓶颈,为海量数据的处理提供了良好的解决方案。主要研究了Hadoop平台下的mapreduce编程模型及传统K-means算法,提出了一种基于mapreduce的并行化K-means算法的设计方案,包括Map函数和Reduce函数的设计。通过实验,验证了并行化K-means算法适用于较大规模数据集的分析和挖掘。

关键词：云计算数据挖掘 mapreduce编程模型 K-means聚类算法并行化

来源：评论

学校读者我要写书评

暂无评论

基于Hadoop的数字化校园设计与实现

引用

软件导刊 2014年第10期13卷 15-17页

作者：陆丽婷无锡城市职业技术学院电子信息工程系江苏无锡214153

高校是进行教学与科研的场所,随着云计算技术的发展,如何管理和利用产生的海量数据已成为当前研究的热点。设计了一个基于Hadoop云计算平台的数字化校园,其由4层体系构建,对该系统从结构、功能等方面进行了设计与分析。

关键词：云计算 Hadoop HDFS mapreduce编程模型数字化校园

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：