检索结果-内蒙古大学图书馆

计算机科学与探索 2014年第7期8卷 802-811页

作者：燕彩蓉张洋舜徐光伟东华大学计算机科学与技术学院上海201620 同济大学嵌入式系统与服务计算教育部重点实验室上海200092

实体解析是指发现并聚合描述现实世界中同一对象的记录。纯粹的机器算法虽然可以获得较高的效率,但是准确率难以保证。提出了一种机器计算与众包相结合的实体解析方法。该方法首先采用mapreduce并行计算框架排除不可能匹配的记录对,减... 详细信息

实体解析是指发现并聚合描述现实世界中同一对象的记录。纯粹的机器算法虽然可以获得较高的效率,但是准确率难以保证。提出了一种机器计算与众包相结合的实体解析方法。该方法首先采用mapreduce并行计算框架排除不可能匹配的记录对,减少人类智能任务的数量,然后由人工进行确定性标注。为了支持隐私保护,在众包计算时提出了基于角色的访问控制模型和重要信息隐藏策略。该方法和模型被应用于某医院患者主索引构建平台,实验结果表明,人机结合方法充分利用了机器和人工处理的优势,可以进行高效率和高精度的患者实体解析,并且有效地避免了患者信息的泄漏。

关键词：实体解析众包 mapreduce编程模型隐私保护患者主索引

来源：评论

学校读者我要写书评

暂无评论

Hadoop平台及其作业调度算法的研究

Hadoop平台及其作业调度算法的研究

引用

作者：张宜力安徽工业大学

学位级别：硕士

随着计算机技术迅猛发展和互联网运用高速的扩展，云计算作为现在炙手可热的分布式计算模式，改变了传统互联网的服务模式。这种由大量廉价的普通机器组成的集群，可以为用户提供计算能力、存储能力和信息服务，从技术上解决了当前互联... 详细信息

随着计算机技术迅猛发展和互联网运用高速的扩展，云计算作为现在炙手可热的分布式计算模式，改变了传统互联网的服务模式。这种由大量廉价的普通机器组成的集群，可以为用户提供计算能力、存储能力和信息服务，从技术上解决了当前互联网面临的海量数据处理、大规模并行计算和多用户等问题，给整个互联网带来了革命性的技术变革。 Hadoop作为一个应用广泛的分布式开源云平台具有高可靠性、良好的扩展性和低成本等优点。作业调度是影响Hadoop集群整体性能与资源利用率的一个重要因素，不仅关系着集群运行的有序性，而且是整个集群能否有效利用系统资源满足用户需求的关键。但是随着应用环境的变化，现存Hadoop的调度算法很难充分满足用户的多种需求，因此研究和改进现存的作业调度算法具有重大意义。通过认真分析Hadoop现有调度算法，提出了改进策略。⑴针对计算能力调度算法的缺陷提出一种基于优先级的计算能力加权调度算法。即根据作业的优先级和提交时间等因素来计算作业的权重，依据作业权重来排序作业队列，从而既可以避免调度陷入局部最优也能更好地满足作业的多样性服务要求。⑵综合考虑作业响应时间和任务数据本地化之间的矛盾，在延迟调度基础上对作业是否延迟调度做了进一步要求，以损失部分数据本地化来提高部分作业的响应时间。通过搭建Hadoop平台，对算法进行测试来验证算法的性能。实验结果表明基于优先级的计算能力加权调度算法提高了集群的效率并可以提前部分小作业的响应时间；对于实验延迟调度的改进算法虽然任务数据的本地化比延迟调度算法要低，但是达到了提高作业的响应时间的要求，算法的性能也比公平调度算法要好，体现了调度算法改进思想的效果。

关键词：云计算 Hadoop 作业调度 mapreduce编程模型

来源：评论

学校读者我要写书评

暂无评论

基于Hadoop的数字化校园设计与实现

引用

软件导刊 2014年第10期13卷 15-17页

作者：陆丽婷无锡城市职业技术学院电子信息工程系江苏无锡214153

高校是进行教学与科研的场所,随着云计算技术的发展,如何管理和利用产生的海量数据已成为当前研究的热点。设计了一个基于Hadoop云计算平台的数字化校园,其由4层体系构建,对该系统从结构、功能等方面进行了设计与分析。

关键词：云计算 Hadoop HDFS mapreduce编程模型数字化校园

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的软件设计模式的研究

引用

科技致富向导 2014年第18期 188-189页

作者：寸江涛保山学院现代教育技术中心云南保山 678000

本论文在研究mapreduce编程模型的基础上，对Maper和Reducer函数的编程流程进行了深入的研究并在Hadoop框架的基础上，进行Kmeans聚类算法的并行设计。在充分熟悉软件工程中设计模式的基础上，结合mapreduce编程模型，在KmeansMapper、K... 详细信息

本论文在研究mapreduce编程模型的基础上，对Maper和Reducer函数的编程流程进行了深入的研究并在Hadoop框架的基础上，进行Kmeans聚类算法的并行设计。在充分熟悉软件工程中设计模式的基础上，结合mapreduce编程模型，在KmeansMapper、KmeansReducer和KmeansDriver的程序设计中分别应用了工厂方法模式、合成模式、代理模式、命令模式来提高软件工程中程序设计的效率。

关键词： mapreduce编程模型 Kmeans聚类算法设计模式

来源：评论

学校读者我要写书评

暂无评论

mapreduce中连接负载均衡优化研究

MapReduce中连接负载均衡优化研究

引用

2014全国理论计算机科学学术年会

作者：翟红敏刘国华赵威刘源源翟红坤东华大学计算机科学与技术学院上海 201620 国网黑龙江省电力有限公司信息通信公司黑龙江 150000

数据分析和处理是大规模分布式数据处理应用中的重要任务.由于简单易用和具有灵活性,mapreduce编程模型逐渐成为大规模分布式数据处理系统(如Hadoop系统)的核心模型.由于处理的数据可能不是均匀分布,mapreduce编程模型在处理连接操作时... 详细信息

数据分析和处理是大规模分布式数据处理应用中的重要任务.由于简单易用和具有灵活性,mapreduce编程模型逐渐成为大规模分布式数据处理系统(如Hadoop系统)的核心模型.由于处理的数据可能不是均匀分布,mapreduce编程模型在处理连接操作时,会出现数据倾斜问题.数据倾斜问题严重降低mapreduce执行连接操作的效率.针对mapreduce中连接操作的数据倾斜问题,分析了形成mapreduce连接性能瓶颈的原因并建立负载均衡代价模型,提出了用范围分割(rangepartitioner)方法控制连接过程中的数据倾斜问题实现负载均衡的策略.实验结果表明所提出的方法明显提高了连接的效率.

关键词：分布式数据处理 mapreduce编程模型数据倾斜负载均衡范围分割

来源：评论

学校读者我要写书评

暂无评论

基于压力反馈的mapreduce负载均衡策略

基于压力反馈的MapReduce负载均衡策略

引用

2014湖北省计算机学会学术年会

作者：李航晨秦小麟沈尧南京航空航天大学计算机科学与技术学院南京210016

数据倾斜是严重影响mapreduce性能的因素之一.数据倾斜问题的现有解决方法需要用户对应用类型提供针对的分区函数,或是为mapreduce编写额外的采样过程,增加了用户的负担.为解决上述问题,提出了一种基于压力统计的负载均衡策略.该策略充... 详细信息

数据倾斜是严重影响mapreduce性能的因素之一.数据倾斜问题的现有解决方法需要用户对应用类型提供针对的分区函数,或是为mapreduce编写额外的采样过程,增加了用户的负担.为解决上述问题,提出了一种基于压力统计的负载均衡策略.该策略充分利用mapreduce中的混洗阶段,在reducer准备数据的同时进行统计,以获取全局数据分布.系统根据数据分布情况对负载较重节点进行调度,平衡整个集群负载,而无需用户提供额外的输入.此外,考虑到上层不同的应用类型,引入了压力反馈机制来进一步提高调度策略的性能.实验结果表明,提出的负载均衡调度策略的性能优于默认策略性能.

关键词： mapreduce编程模型数据倾斜负载均衡策略压力反馈

来源：评论

学校读者我要写书评

暂无评论

Hadoop云计算技术在垃圾短信过滤中的应用与实现

Hadoop云计算技术在垃圾短信过滤中的应用与实现

引用

辽宁省通信学会2014年通信网络与信息技术年会

作者：孙大鹏辽宁省通信管理局网络信息安全处 110035

基于内容分析的垃圾短信过滤技术存在复杂度过高、易导致信息网络阻塞等不足.针对这一缺点,本文分析了基于内容过滤器所使用的云计算技术平台,发现其可以通过云计算的Hadoop开源实现方案中的mapreduce编程模型来实现.

关键词：移动通信垃圾短信过滤 Hadoop云计算技术 mapreduce编程模型效果评估

来源：评论

学校读者我要写书评

暂无评论

并行实体解析与记录聚合模型

引用

小型微型计算机系统 2013年第8期34卷 1843-1847页

作者：燕彩蓉万永权东华大学计算机科学与技术学院上海201620 欧特克软件(中国)有限公司上海分公司上海200233

实体解析用于判断两个数据记录是否描述的是同一实体对象,记录聚合则把所有属于同一实体对象的数据记录进行聚集,建立关联,方便交叉索引.本文基于mapreduce编程模型,提出一种迭代的并行处理框架,采用面向学习的分类方法进行实体解析,根... 详细信息

实体解析用于判断两个数据记录是否描述的是同一实体对象,记录聚合则把所有属于同一实体对象的数据记录进行聚集,建立关联,方便交叉索引.本文基于mapreduce编程模型,提出一种迭代的并行处理框架,采用面向学习的分类方法进行实体解析,根据属性相似的传递性,并结合函数式语言的本身特性,对记录进行高效聚合.相关算法和框架应用于建立医院之间患者标识交叉索引平台,为患者主索引的建立以及信息共享提供依据.实验结果表明,mapreduce编程模型非常适合于实体解析与记录聚合的一体化处理,其编程快捷,运行高效,而且数据分区和并行处理技术避免了大量连接引发的内存溢出问题.

关键词：实体解析记录聚合 mapreduce编程模型患者标识交叉索引

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的数据挖掘平台设计与实现

引用

计算机工程与设计 2013年第2期34卷 495-501页

作者：黄斌许舒人蒲卫中国科学院软件研究所软件工程技术中心北京100190 中国科学院研究生院北京100190 解放军卫生信息中心北京100842

mapreduce编程模型的简单性和高性价比使得其适用于海量数据的并行处理。然而,mapreduce欠缺对多数据源、组件复用以及数据可视化支持,这些缺点使用户在运用mapreduce框架进行数据挖掘时暴露出开发效率低下,重复开发等问题。提出了一种... 详细信息

mapreduce编程模型的简单性和高性价比使得其适用于海量数据的并行处理。然而,mapreduce欠缺对多数据源、组件复用以及数据可视化支持,这些缺点使用户在运用mapreduce框架进行数据挖掘时暴露出开发效率低下,重复开发等问题。提出了一种基于mapreduce的数据挖掘平台的设计与实现,该设计思想为Hadoop作为大规模数据计算平台在数据挖掘、数据可视化以及商业智能应用方面的不足提供了参考与弥补。同时,基于该方法实现了一个大规模数据挖掘工具。

关键词： mapreduce编程模型数据挖掘 Hadoop平台模型驱动可视化

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的并行模糊C均值算法

引用

计算机工程与应用 2013年第14期49卷 133-137,151页

作者：虞倩倩戴月明江南大学物联网工程学院江苏无锡214122

模糊C均值是一种重要的软聚类算法,针对模糊C均值的随着数据量的增加,时间复杂度过高的缺点,提出了一种基于mapreduce的并行模糊C均值算法。算法重新设计模糊C均值,使其符合mapreduce的基于key/value的编程模型,并行计算数据集到中心点... 详细信息

模糊C均值是一种重要的软聚类算法,针对模糊C均值的随着数据量的增加,时间复杂度过高的缺点,提出了一种基于mapreduce的并行模糊C均值算法。算法重新设计模糊C均值,使其符合mapreduce的基于key/value的编程模型,并行计算数据集到中心点的隶属度,并重新计算出新的聚类中心,提高了模糊C均值处理大容量数据的计算效率。实验结果表明,基于mapreduce的并行模糊C均值算法具有较高的加速比和扩展性。

关键词：模糊C均值并行计算 mapreduce编程模型数据挖掘云计算

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：