检索结果-内蒙古大学图书馆

作者：王拓中国科学院研究生院

学位级别：博士

改革开放以来,中国经济高速发展,人民生活水平和社会医疗条件得到较大的改善,人均寿命增长。同时,计划生育政策限制了中国人口的出生率,老年人口比例平稳增长。1999年,中国进入老龄化社会。为了完善社会养老服务体系,政府提出加强养老... 详细信息

改革开放以来,中国经济高速发展,人民生活水平和社会医疗条件得到较大的改善,人均寿命增长。同时,计划生育政策限制了中国人口的出生率,老年人口比例平稳增长。1999年,中国进入老龄化社会。为了完善社会养老服务体系,政府提出加强养老服务信息化建设,依托现在的技术手段,为老年人提供高效便捷的服务。\n 针对目前中国养老信息化建设滞后于现代社会新技术发展的情况,本文进行了老年智能社区信息化建设的研究与探讨。针对老年智能社区数据分布性、异构性、多样性、自治性等特点,提出了老年智能社区多源异构数据的云存储理论与方法。针对数据规模较大,计算能力不足的问题,提出了海量数据云分析与云处理框架,对使用mapreduce解决老年智能社区海量高维数据分析进行了初步研究。分析了异构环境下老年智能社区信息平台的特性、目标和功能需求,提出了基于SaaS和SOA信息协同与资源共享机制,构建了老年智能社区云服务体系。\n 论文的详细研究内容如下:\n 1、总结分析了不同企业和学者对云计算的定义与分类,阐述了云计算理论中涉及的关键技术,介绍了目前主流的云计算产品。重点分析了本文使用的开源云计算平台Hadoop。对HDFS分布式文件系统、mapreduce并行编程模型及基于列的NoSQL数据库HBase的结构和机制进行了阐述。陈述了云服务及其应用。\n 2、针对老年社区数据多源、异构等特征,进行了云环境下数据存储研究。对利用分治思想,采用数字化与数据化结合的方式处理老年智能社区多源数据进行了分析,设计并实现了医学影像数据、传统属性数据、矢量数据及移动轨迹数据的存储模型,针对四类数据分别设计了对应的索引:基于MapFile的医学影像压缩与索引机制、基于mapreduce的倒排索引及位图索引的属性数据索引、基于OGC的矢量数据与移动轨迹数据存储模型、基于Hilbert_R的HBase矢量数据索引及基于3DR_B+树的HBase移动轨迹数据索引,便于云存储环境中多源数据的快速检索与读取。\n 3、针对目前大数据处理能力和实时性不足的问题,提出了基于云计算的数据分析框架,对基于mapreduce的高维数据处理进行了分析研究。以空气质量时间序列数据为例,提出了点异常和模式异常。以CO时间序列数据为例进行了基于mapreduce的点异常分析,以相似度度量CO2时间序列数据序列,结合高维数据处理方法,基于mapreduce进行了CO2浓度数据的模式异常分析,分析了造成异常的原因,为识别活动模式及调控室内气体变化提供支持,推进了云计算在老年智能社区中的应用。\n 4、针对信息系统管理性强,交互困难的问题,以开放和共享为目标,提出了基于SOA与SaaS的信息交互与资源共享理论,从总体出发,融合云存储、云分析及云应用提出了老年智能社区云服务的体系。以老年位置服务为例,建立了基于云服务的老年人、社区管理员及监护人之间相互交流的机制,解决了交互过程中信息传递、数据协同的问题,完善了老年智能社区信息化建设的理论与方法。

关键词：老年智能社区云计算 HDFS平台 mapreduce并行编程模型 HBase数据库数据索引

来源：评论

学校读者我要写书评

暂无评论

并行Adaboost-BP算法及其在海量图像分类中的应用

引用

新疆大学学报（自然科学版） 2017年第1期34卷 70-77页

作者：曹建芳史昊赵青杉忻州师范学院计算机科学与技术系山西忻州034000 太原科技大学计算机科学与技术学院山西太原030024

为解决基于单节点架构的传统分类算法存在的时间效率差、分类准确率低等问题,提出了一种基于并行Adaboost-BP神经网络的海量图像分类方法.将BP神经网络作为弱分类器,由Adaboost算法组合15个BP神经网络的输出,构建了强分类器;充分利用了H... 详细信息

为解决基于单节点架构的传统分类算法存在的时间效率差、分类准确率低等问题,提出了一种基于并行Adaboost-BP神经网络的海量图像分类方法.将BP神经网络作为弱分类器,由Adaboost算法组合15个BP神经网络的输出,构建了强分类器;充分利用了Hadoop平台下Map Reduce并行编程模型,提出了海量图像的自动分类模型,设计了并行Adaboost-BP神经网络算法的Map和Reduce任务.多组实验表明,相对于传统的AdaboostBP神经网络算法,提出的算法在Pascal VOC2007数据集和Caltech256数据集上的平均分类准确率分别提高了14.5%和26.0%,而且算法运行耗时少,系统加速比随集群节点个数增加而增加,在图像规模增加到20 000时,加速比几乎呈线性增长趋势.实验结果充分证明,提出的方法适合海量图像的自动分类和预测.

关键词： Adaboost-BP神经网络图像分类特征提取 mapreduce并行编程模型

来源：评论

学校读者我要写书评

暂无评论

云计算下mapreduce多组容错机制架构的分析与研究

引用

微电子学与计算机 2014年第1期31卷 52-55,59页

作者：张治斌李燕歌河南理工大学计算机科学与技术学院河南焦作454000

提出了mapreduce多组容错机制,在传统的Hadoop mapreduce架构上进行改进,即在同机柜中的TaskTracker节点之间增加了多组关系,这样可以缩短发现失效节点的时间,同时减轻JobTracker节点的负荷,减低了带宽使用率,减少网络拥塞.通过实验证明... 详细信息

提出了mapreduce多组容错机制,在传统的Hadoop mapreduce架构上进行改进,即在同机柜中的TaskTracker节点之间增加了多组关系,这样可以缩短发现失效节点的时间,同时减轻JobTracker节点的负荷,减低了带宽使用率,减少网络拥塞.通过实验证明,mapreduce多组容错机制提高了mapreduce的工作效率.

关键词：云计算 mapreduce并行编程模型多组容错机制

来源：评论

学校读者我要写书评

暂无评论

云环境下mapreduce多组容错机制的研究

云环境下MapReduce多组容错机制的研究

引用

作者：李燕歌河南理工大学

学位级别：硕士

随着互联网技术的快速发展与普及,人类社会已由信息时代进入了大数据时代,传统的计算模式已经不能满足时代的要求,一种新兴的商业计算模型——云计算应运而生,云计算为计算机行业带来了新的机遇和挑战。云计算是一个大规模的分布式计算... 详细信息

随着互联网技术的快速发展与普及,人类社会已由信息时代进入了大数据时代,传统的计算模式已经不能满足时代的要求,一种新兴的商业计算模型——云计算应运而生,云计算为计算机行业带来了新的机遇和挑战。云计算是一个大规模的分布式计算系统,为互联网上的外部用户提供抽象的、虚拟的、动态调整以及可管理的计算能力、存储、平台以及服务。云计算最典型的案例是Goolge公司提出的mapreduce并行编程模型,它简单易用、并行化程度高、可靠性高等特点吸引了很多用户。目前,国内外针对mapreduce编程模型各个方面的研究很多,其中关于mapreduce容错机制一直是研究热点之一。针对容错机制的研究可以总结为两种方案:备份和再执行,但是这两种方案有一个基本前提条件——感知到失效节点,如果感知失效情况不及时或者不准确,这两种方案也就不能发挥作用了。本文将从一个新的视角出发,针对如何更快更准确的发现失效节点问题展开研究,主要分为以下几个方面:首先,根据需求分析设计容错方案,简单地将其分为三个步骤:多组监测、请求申请、任务迁移,分析各自的职能,研究多组容错的运行机制。其二,对传统的mapreduce架构进行改进,在同机柜中的各个TaskTracker节点之间搭建多组架构,建立多组心跳机制,分别在TaskTracker和JobTracker上增加多组类multipleTaskTracker、multipleJobTracker,实现多组容错。其三,对任务迁移过程中可能出现的资源竞争问题进行补充,根据公平性原则,针对两类资源竞争现象按照各自的规则进行任务迁移。最后,分别从响应时间、加速比和多组容错的优势三个方面对多组容错性能进行分析,得出在不影响系统扩展性的前提下,多组关系提高了监测失效节点的效率,节约了作业响应时间,降低了带宽使用率,减少网络拥塞,减轻了JobTracker节点的负荷。大量实验数据表明,在不影响mapreduce系统可扩展性的前提下,多组容错要明显优于传统容错方案。在集群中存在失效节点时,多组容错可以将发现失效的时间大幅度地缩短,并且可以游刃有余的解决任务迁移过程中的资源竞争现象。

关键词：云计算 mapreduce并行编程模型多组容错机制

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的场景图像分类系统的设计与实现

基于MapReduce的场景图像分类系统的设计与实现

引用

作者：史昊太原科技大学

学位级别：硕士

场景图像分类是图形图像工作范畴的重要组成部分。分类算法的性能对解决场景图像分类问题起关键性作用。大数据时代,场景图像数量日益递增,图像特征维度井喷式增长,面对海量图像数据,传统的图像分类算法计算量急剧增大、时间性能骤然下... 详细信息

场景图像分类是图形图像工作范畴的重要组成部分。分类算法的性能对解决场景图像分类问题起关键性作用。大数据时代,场景图像数量日益递增,图像特征维度井喷式增长,面对海量图像数据,传统的图像分类算法计算量急剧增大、时间性能骤然下降,难以适用于海量高维场景图像数据的处理。针对上述情况,本文设计和实现了一种基于mapreduce并行编程模型的场景图像分类原型系统。首先采用主成分分析法(Principal Component Analysis,PCA)对提取的场景图像的尺度不变特征变换(Scale-invariant feature transform,SIFT)特征进行降维处理,然后对降维后的特征采用随机森林(Random Forest,RF)算法进行分类。所有算法都采用mapreduce并行编程模型进行了并行化设计。主要研究成果如下:(1)提出了一种基于mapreduce并行编程模型的PCA-SIFT场景图像特征提取算法。该算法采用PCA算法对并行提取的场景图像的SIFT特征进行了降维处理。使用Sun Database场景图像数据库和实验室自建的煤矿场景图像数据库进行实验,实验证明本文提出的算法SIFT特征点检测效果明显,运行效率大幅提升,处理大规模图像数据集时,系统加速比呈线性增长的趋势,充分说明了算法在处理大规模场景图像数据的有效性。(2)采用Hadoop平台,给出了一种基于随机森林算法的场景图像并行分类算法。该算法包括学习和预测两部分,学习进程主要是通过生成多棵决策树来构建随机森林,预测进程则利用构建好的随机森林对输入的场景图像特征矩阵进行投票分类,算法基于mapreduce并行编程模型实现。经验证,该算法在Hadoop平台下,可伸缩性强且具有一定的可扩展性,性能良好。(3)根据上述实验过程,设计并开发了海量场景图像分类原型系统,实现了对大量场景图像数据的高效分类。

关键词：场景图像分类 mapreduce并行编程模型 PCA-SIFT算法 BOF模型随机森林

来源：评论

学校读者我要写书评

暂无评论

融合混合优化组合的大规模场景图像分类算法

引用

计算机技术与发展 2019年第9期29卷 86-91页

作者：王燕曹建芳李艳飞忻州师范学院计算机系山西忻州034000 太原科技大学计算机科学与技术学院山西太原030024

图像获取设备的普及和网络技术的发展导致数字图像迅速增长,面对海量图像,传统的单节点架构的分类算法性能急剧下降。针对上述问题,以场景图像为研究对象,提出了一种集群环境下的融合混合优化和组合技术的大规模图像分类方法。将ABC算法... 详细信息

图像获取设备的普及和网络技术的发展导致数字图像迅速增长,面对海量图像,传统的单节点架构的分类算法性能急剧下降。针对上述问题,以场景图像为研究对象,提出了一种集群环境下的融合混合优化和组合技术的大规模图像分类方法。将ABC算法和PSO算法优化后的SVM作为弱分类器,由Adaboost算法组合弱分类器输出构建强分类器;利用Hadoop平台下的mapreduce并行编程模型对算法进行并行化设计,提出P-Adaboost-(ABC-PSO-SVM)算法,构造了大规模场景图像的自动分类模型。多组对比实验表明,相对于传统的单机平台下的分类算法,当图像数量达到50000时,该算法在SUN Database场景图像库上的平均分类准确率达87.6%,训练耗时仅为98s。实验结果充分说明,该算法适合大规模场景图像的自动分类预测。

关键词：混合优化 Adaboost算法集群环境 mapreduce并行编程模型分类模型

来源：评论

学校读者我要写书评

暂无评论

基于Hadoop的煤矿图像PCA-SIFT特征提取算法研究

引用

软件导刊 2018年第12期17卷 81-86页

作者：米向荣曹建芳史昊忻州师范学院计算机系山西忻州034000 太原科技大学计算机科学与技术学院山西太原030024

大数据技术已经成为当下热点问题,Hadoop技术在煤矿领域运用也引起了广泛关注。针对传统监控模式下煤矿视频监控系统图像采集点多、历史留存数据量大、不利于后续查找特征图像等问题,提出一种Hadoop平台下PCA-SIFT算子的图像特征提取算... 详细信息

大数据技术已经成为当下热点问题,Hadoop技术在煤矿领域运用也引起了广泛关注。针对传统监控模式下煤矿视频监控系统图像采集点多、历史留存数据量大、不利于后续查找特征图像等问题,提出一种Hadoop平台下PCA-SIFT算子的图像特征提取算法,研究并改进了mapreduce并行编程模型的任务设计,对传统尺度不变特征转换算法进行了并行化设计,在Hadoop集群下实现了海量煤矿图像的PCA-SIFT并行特征提取。使用汾西矿务局煤矿图像井下数据集进行实验,算法SIFT特征点检测效果好,运行耗时少。在图像数量庞大时,系统加速比几乎呈线性增长趋势,验证了算法处理大规模煤矿图像数据的有效性。

关键词： SIFT算子尺度不变特征 Hadoop平台 mapreduce并行编程模型

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的GA-BP神经网络算法并行化设计及实现

引用

软件导刊 2017年第7期16卷 40-44页

作者：杨婉婧邢洪嘉曹建芳忻州市第一中学忻州师范学院计算机科学与技术系山西忻州034000

为提高BP神经网络算法的运行效率,利用遗传算法和并行编程思想,提出了Hadoop平台下基于mapreduce的遗传算法优化BP神经网络的并行化设计及实现方法。利用遗传算法优化BP神经网络的初始权值和阈值,提高算法分类准确率;采用mapreduce并行... 详细信息

为提高BP神经网络算法的运行效率,利用遗传算法和并行编程思想,提出了Hadoop平台下基于mapreduce的遗传算法优化BP神经网络的并行化设计及实现方法。利用遗传算法优化BP神经网络的初始权值和阈值,提高算法分类准确率;采用mapreduce并行编程模型实现算法的并行化处理,解决BP神经网络在处理大规模样本数据集时存在的硬件开销和通信开销大的问题。选用Caltech 256图像数据集,与传统的串行遗传算法优化BP神经网络算法实验对比,验证了并行化GA-BP神经网络算法的优越性。

关键词：遗传算法 BP神经网络 mapreduce并行编程模型并行化设计

来源：评论

学校读者我要写书评

暂无评论

基于Hadoop的k-means聚类算法并行实现

基于Hadoop的k-means聚类算法并行实现

引用

浙江省信号处理学会2015学术年会

作者：顾嘉伟尚俊娜杭州电子科技大学通信工程学院杭州310018

本文结合mapreduce并行编程模型的优势,提出了一种k-means聚类算法的并行实现方式.通过随机抽样将整个数据集分成n块,n可以根据数据集的大小确定;采用预聚类和线性预测改善聚类中心质量;Map函数完成数据分块和聚类中心初始化,Reduce函... 详细信息

本文结合mapreduce并行编程模型的优势,提出了一种k-means聚类算法的并行实现方式.通过随机抽样将整个数据集分成n块,n可以根据数据集的大小确定;采用预聚类和线性预测改善聚类中心质量;Map函数完成数据分块和聚类中心初始化,Reduce函数实现数据块的聚类迭代.实验表明,相比于其他并行实现方式,本文所提出的并行方式使得算法效率更高,性能更优.

关键词：数据挖掘 mapreduce并行编程模型 k-means聚类算法数据集

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：