检索结果-内蒙古大学图书馆

您好，读者！请登录

内蒙古大学图书馆

首页
概况
党建
资源
服务
科研支持
- 论文收录引用证明
- 科技查新
知识产权
档案馆
帮助

咨询与建议

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

您的常用邮箱：*

您的手机号码：*

问题描述：

当前已输入0个字，您还可以输入200个字

全部搜索
期刊论文
图书
学位论文
标准
纸本馆藏
外文资源发现
数据库导航
超星发现

高级检索

时间限定

出版年份：

文献类型

图书期刊文献学位论文多媒体

馆藏选择

电子馆藏纸本馆藏

核心期刊

全部期刊 SCI 收录期刊 SSCI 收录期刊 EI 收录期刊 CSCD 收录期刊 CSSCI 收录期刊

语言

中文英文

文献类型

期刊文献图书学位论文标准纸本馆藏

帮助

文字说明：

T=题名（书名、题名），A=作者（责任者），K=主题词，P=出版物名称，PU=出版社名称，O=机构（作者单位、学位授予单位、专利申请人），L=中图分类号，C=学科分类号，U=全部字段，Y=年（出版发行年、学位年度、标准发布年）

检索规则说明：

AND代表“并且”；OR代表“或者”；NOT代表“不包含”；(注意必须大写,运算符两边需空一格)

检索范例：

范例一：(K=图书馆学 OR K=情报学) AND A=范并思 AND Y=1982-2016
范例二：P=计算机应用与软件 AND (U=C++ OR U=Basic) NOT K=Visual AND Y=2011-2016

分类表

所选分类

>> <<

限定检索结果

文献类型

30 篇 期刊文献
24 篇 学位论文
5 篇 会议

馆藏范围

59 篇 电子文献
0 种 纸本馆藏

日期分布

学科分类号

46 篇 工学
- 36 篇 计算机科学与技术...
- 22 篇 软件工程
- 4 篇 仪器科学与技术
- 3 篇 电子科学与技术（可...
- 3 篇 信息与通信工程
- 3 篇 控制科学与工程
- 3 篇 测绘科学与技术
- 2 篇 机械工程
- 2 篇 地质资源与地质工...
- 2 篇 网络空间安全
- 1 篇 农业工程
- 1 篇 环境科学与工程（可...
25 篇 管理学
- 25 篇 管理科学与工程(可...
3 篇 理学
- 2 篇 地理学
- 1 篇 数学
1 篇 农学
- 1 篇 农业资源与环境
1 篇 军事学
- 1 篇 军事装备学

主题

59 篇 mapreduce编程模型...
13 篇 云计算
8 篇 数据挖掘
7 篇 hadoop
6 篇 hadoop平台
4 篇 负载均衡
4 篇 大数据
4 篇 并行计算
3 篇 关联规则
3 篇 频繁项集
3 篇 并行化
2 篇 作业调度
2 篇 聚类算法
2 篇 高性能计算机
2 篇 大数据处理
2 篇 实体解析
2 篇 bp神经网络
2 篇 hadoop架构
2 篇 hadoop手机
2 篇 海量数据处理

机构

5 篇 中国科学院研究生...
5 篇 东华大学
4 篇 东北大学
3 篇 华中科技大学
3 篇 太原科技大学
2 篇 国防科学技术大学
2 篇 江西理工大学
2 篇 南京大学
2 篇 江南大学
2 篇 华南理工大学
2 篇 南昌大学
1 篇 辽宁省通信管理局...
1 篇 烟台汽车工程职业...
1 篇 北京交通大学
1 篇 数字化纺织服装技...
1 篇 阿肯色大学
1 篇 四川水利职业技术...
1 篇 同济大学
1 篇 数字福建气象大数...
1 篇 长春理工大学

作者

2 篇 黄斌
2 篇 黄訸
2 篇 徐苏
2 篇 燕彩蓉
2 篇 孙大鹏
1 篇 程广
1 篇 易晓东
1 篇 郭畅
1 篇 胡俊杰
1 篇 付启沐
1 篇 温暖
1 篇 张明敏
1 篇 沈尧
1 篇 寸江涛
1 篇 张恺玉
1 篇 郭钇汝
1 篇 钱雪忠
1 篇 谢颖华
1 篇 赵威
1 篇 封磊

语言

59 篇 中文

检索条件"主题词=MapReduce编程模型"

共 59 条记录，以下是31-40 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于Hadoop公存式计算的遥感产品生产系统

基于Hadoop公存式计算的遥感产品生产系统

引用

作者：胡俊杰电子科技大学

学位级别：硕士

遥感技术是对地观测的重要手段，种类繁多的生态环境遥感产品从不同角度反应了区域和全球范围内森林、草原、水等重要资源的状态信息，使得有效掌握全球生态环境的变化趋势及其相应影响成为可能。当前世界许多国家均发射了数量不等的对... 详细信息

遥感技术是对地观测的重要手段，种类繁多的生态环境遥感产品从不同角度反应了区域和全球范围内森林、草原、水等重要资源的状态信息，使得有效掌握全球生态环境的变化趋势及其相应影响成为可能。当前世界许多国家均发射了数量不等的对地观测遥感卫星，如美国的Landsat、Terra、Aqua，法国的Spot等等，这些卫星每天将产生海量的对地观测数据，为生产全球范围的生态环境遥感专题产品提供了丰富的数据源。然而，面对海量的遥感数据以及复杂的专题产品生产算法模型，传统的串行生产方式由于较低的运行效率，已逐渐不能满足对大规模遥感数据及时、高效处理的要求。\n 针对此问题，论文利用Hadoop在分布式计算方面的优势，结合生态环境遥感专题产品的生产需求，构建了一套具有较高生产效率的遥感产品生产系统，实现快速、按需生产生态环境遥感专题产品。论文的主要研究内容包括：\n （1）论文以全球环境监测指数和草原干旱指数产品为例，使用 mapreduce编程模型设计并实现了产品并行生产算法。结合mapreduce模型的工作原理和具体生产算法的特点，研究并设计了mapreduce模型的输入键、输入值和分区函数。针对具有多个 mapreduce任务的复杂生产作业，使用工作流技术解决各mapreduce模型间的依赖关系，确保专题产品的高效生产。\n （2）基于构建的生态环境专题产品 mapreduce生产模型，使用单节点和Hadoop集群以串行和分布式计算的方式生产了全球范围内的相应产品，对比分析了串并行生产方式之间的效率差异，以及在不同计算节点情况下Hadoop集群的运算性能。\n （3）基于 Hadoop分布式计算平台，结合 Java2 Platform Enterprise Edition(J2EE)、WebGIS等技术，设计并实现了全球生态环境遥感专题产品生产与服务系统。针对用户对于专题产品的生产需求，系统以接受订单的方式，利用Hadoop集群快速生产出符合用户要求的专题产品。系统围绕 Hadoop生态环境专题产品生产，实现了从订单管理、系统管理、数据管理到最终专题产品生产的一个较为完整的生产环境。与传统桌面型遥感产品生产系统相比，系统不仅有效提高了遥感专题产品的生产效率，同时也为生态环境领域相关研究人员提供一种方便、高效获取专题产品的方式。

关键词： Hadoop公存式计算遥感产品生产系统 mapreduce编程模型

来源：评论

学校读者我要写书评

暂无评论

Hadoop下基于CA-Markov模型的土地利用变化预测方法研究

Hadoop下基于CA-Markov模型的土地利用变化预测方法研究

引用

作者：李爽江西理工大学

学位级别：硕士

研究不同时空下的土地利用/土地覆被状况,预测未来土地利用变化,可为土地资源合理分配提供参考。土地利用变化预测面对的数据种类较多,有遥感影像、DEM影像、各类驱动因子数据等,其中遥感影像数据已成为一种海量数据。大规模数据下传统... 详细信息

研究不同时空下的土地利用/土地覆被状况,预测未来土地利用变化,可为土地资源合理分配提供参考。土地利用变化预测面对的数据种类较多,有遥感影像、DEM影像、各类驱动因子数据等,其中遥感影像数据已成为一种海量数据。大规模数据下传统串行的基于CA-Markov模型的土地利用变化预测算法运行时间较长,而Hadoop云计算平台在大数据处理方面具有性能与成本优势。因此,论文以杭州市为例,围绕Hadoop下基于CAMarkov模型的土地利用变化预测算法(CLOUD-LUCP)的设计展开了如下工作:(1)研究依据CLOUD-LUCP算法所需的土地利用分类影像、驱动因子等数据的数据结构与算法的运算方式,设计算法输入数据在HDFS中的组织与存储方法,以便基于mapreduce编程模型开发的CLOUD-LUCP算法能够获取并解析数据。(2)研究基于mapreduce编程模型对传统CA-Markov模型串行预测算法进行分布式并行化设计,得到了CLOUD-LUCP算法,算法分为云环境下Markov模型并行算法与云环境下土地利用变化综合评价算法两部分。CLOUD-LUCP算法用以计算土地利用面积转移矩阵、转移概率矩阵、元胞土地利用综合评价值,再依据以上数据进行元胞状态转换方向确定,从而实现土地利用变化预测。(3)对比不同数据量下CLOUD-LUCP预测算法与串行预测算法运行效率。实验结果表明,在本文所采用的集群环境与测试数据集下,云环境下Markov模型并行算法与云环境下土地利用变化综合评价算法的加速比与节省的运算耗时随数据量增大而提高,两部分算法加速比分别于3.43和1.86时达到最高。(4)研究对2013年的土地利用变化进行了模拟,并对模拟结果进行分析与精度评价。模拟结果的自然保留地、建设用地、农用地Kappa系数分别可达0.86,0.68和0.66,表明研究区模拟结果可信,可在此基础上对2020年土地利用变化进行预测与结果分析。研究结果表明,CLOUD-LUCP算法与传统串行预测算法相比,在大规模数据下具有一定的效率优势。同时,模拟结果可信度较高,算法采用的驱动因子及权重参数适用于研究区,可用于研究区的土地利用变化预测。

关键词：云计算 Hadoop云平台 mapreduce编程模型 CA-Markov模型土地利用变化预测

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的数据聚集运算处算法研究与实现

基于MapReduce的数据聚集运算处算法研究与实现

引用

作者：高伟东北大学

学位级别：硕士

信息化技术的不断深入应用，特别是网络技术的迅速发展，导致了数据的规模急剧增长。因此，如何保证海量数据的有效存储和管理，提高针对海量数据的处理效率成为人们日益关注的焦点。聚集运算是数据预处理中最典型操作之一，对提高查询... 详细信息

信息化技术的不断深入应用，特别是网络技术的迅速发展，导致了数据的规模急剧增长。因此，如何保证海量数据的有效存储和管理，提高针对海量数据的处理效率成为人们日益关注的焦点。聚集运算是数据预处理中最典型操作之一，对提高查询效率有着非常重要的意义，但是聚集运算非常耗费计算资源，特别是针对海量级别数据的聚集运算，更是需要巨大的计算能力和存储能力，而普通的PC机难以提供这样的计算资源，所以研究适合海量数据的聚集运算具有重要意义。\n 本文通过详细研究了Google的分布式文件系统(GFS)以及mapreduce并行计算框架，充分利用该分布式文件系统的高扩展型、高容错性等特性，结合mapreduce在处理大规模数据集时的并行性处理特性，提出了一组面向海量数据的数据聚集运算算法，该组算法主要包括基于mapreduce的关系型数据的选择、投影以及等值连接等算法，并在此基础之上，实现了基于mapreduce的计数（Count）、求和(Sum)、均值(Average)、最大值(Max)和最小值(Min)等聚集运算，形成了比较完整的面向海量数据的聚集运算算法。该套算法充分利用了集群系统的计算能力和存储能力，以及集群系统的网络带宽，极大的提高了海量数据的聚集运算效率，有效地减少了的运算时间，提高了基于聚集运算结果上的数据查询效率。\n 本文还在以上聚集运算算法的基础上，实现了基于mapreduce的全局封闭数据立方体生成算法，以及在全局封闭数据立方体上的查询算法。实验表明该算法充分发挥了集群系统的并行处理能力，可以高效的生成全局封闭数据立方体以及快速的完成在其上的查询任务。

关键词：数据立方体聚集运算 mapreduce编程模型信息化技术

来源：评论

学校读者我要写书评

暂无评论

基于MPI和mapreduce的分布并行计算研究

基于MPI和MapReduce的分布并行计算研究

引用

作者：陈月燕南京师范大学

学位级别：硕士

并行计算是提高计算机系统计算速度和处理能力的一种有效手段。MPI是目前开发并行应用程序的主要编程模型——消息传递编程模型的事实标准。Hadoop是一个在集群上处理大级别数据量的分布式并行编程框架,实现了Google的mapreduce编程模型... 详细信息

并行计算是提高计算机系统计算速度和处理能力的一种有效手段。MPI是目前开发并行应用程序的主要编程模型——消息传递编程模型的事实标准。Hadoop是一个在集群上处理大级别数据量的分布式并行编程框架,实现了Google的mapreduce编程模型,是目前最为广泛应用的开源云计算软件平台。随着PC机性能的大幅度提高和网络技术的迅速发展,并行计算平台在普通PC机构建的机群上能够很好的应用,使得并行计算得以普遍应用。\n 本文从应用和研究的角度,对MPI并行编程模型和Hadoop分布式编程框架的相关理论进行了详细的分析,设计了基于MPI的分子动力学模拟,对Hadoop作业调度算法进行了改进。论文主要的工作如下:\n 1.介绍了并行计算的相关理论,论述了MPI主要的接口函数、通信机制、程序设计平台搭建等,研究MPI实现并行计算的机制和方法,对云计算、Hadoop的分布式计算模型mapreduce和分布式文件系统HDFS、Hadoop容错机制进行分析和研究,总结了MPI与Hadoop的相同和不同点。\n 2.设计了基于MPI并行编程模型的分子动力学并行模拟,在此基础上通过改变模拟参数进行实验。通过不同时间步数串行程序和并行程序耗时比较,分析模拟规模和模拟时间增加的关系,通过多节点多进程并行程序实验结果分析节点个数和进程个数对计算时间的影响和系统的并行加速比。另外,本文通过通信时间分析计算节点个数和计算耗时的下降速率之间的关系,分析MPI聚合通信函数的执行效率。\n 3.将Linux进程调度策略的时间片轮转和动态优先级相结合的调度思想应用在Hadoop作业调度中,考虑公平原则和分布式计算的本地性原则,结合失效节点任务重新分配的问题,在PBWRR算法的基础上给予改进,并且给出算法的模拟实验。通过算法性能评测,改进算法能较好的实现多个作业按照优先级、大小和等待时间公平的调度,系统利用率较高,并且能很好的处理失效节点任务的重新分配。

关键词：分布并行计算 MPI 分子动力学模拟 mapreduce编程模型调度算法

来源：评论

学校读者我要写书评

暂无评论

面向图像特征标识的存储系统查询机制研究

面向图像特征标识的存储系统查询机制研究

引用

作者：武天尧华中科技大学

学位级别：硕士

随着数据规模不断增加和处理难度增大，大数据（Big Data）变得非常重要。存储系统对图像文件等非结构化的大数据查询服务缺乏有力支持，传统的文件元数据信息没有表达图像文件内容，区分度低。图像文件作为存储系统中一类增长迅速的文... 详细信息

随着数据规模不断增加和处理难度增大，大数据（Big Data）变得非常重要。存储系统对图像文件等非结构化的大数据查询服务缺乏有力支持，传统的文件元数据信息没有表达图像文件内容，区分度低。图像文件作为存储系统中一类增长迅速的文件数据，面临数据规模增加和查询性能优化的双重挑战。从这一点出发，提出一种面向图像文件的分布式存储系统中的索引策略，能够有效地提高图像文件查询效率，并能保证查询准确率。全文设计并实现面向图像文件的分布式查询系统，对用户的图像文件查询请求进行响应。采用执行速度快、具有良好稳定性的加速稳健特征算法提取图像的特征标识，对文件元数据进行辅助，增强对图像的表达力度。采用局部灵敏哈希方法（Locality Sensitive Hashing，LSH）解决高维的图像特征标识数据的最近邻居查询问题。研究的主要内容是结合局部灵敏哈希计算与mapreduce编程模型，提出一种分布式的索引策略，在分布式环境的多节点上并行采集图像特征标识，并使用多节点并发的哈希计算生成索引记录，解决局部灵敏哈希方法在时间和空间上开销大的问题，提高存储系统中图像文件的查询效率。最后，为了将索引记录的生成和用户数据处理分离，采用关系型数据库存储结构化的图像文件索引信息，进一步缩短用户查询响应时间。实验结果表明，分布式的索引构建和图像特征标识采集可以显著提高系统时间性能，对用户查询响应快，能够保证查询准确率。

关键词：查询服务局部灵敏哈希 mapreduce编程模型存储系统

来源：评论

学校读者我要写书评

暂无评论

基于可重构硬件架构的mapreduce计算方法研究与实现

基于可重构硬件架构的MapReduce计算方法研究与实现

引用

作者：付启沐北京交通大学

学位级别：硕士

随着互联网的飞速发展,信息量的爆炸式增长,需要高效的科学计算,以满足快速挖掘有价值信息的需求。在传统的计算机上处理海量的数据需要很长的时间消耗和能量代价,如何快速高效利用好海量的数据成为各行各业所面临的严峻考验。高效利用... 详细信息

随着互联网的飞速发展,信息量的爆炸式增长,需要高效的科学计算,以满足快速挖掘有价值信息的需求。在传统的计算机上处理海量的数据需要很长的时间消耗和能量代价,如何快速高效利用好海量的数据成为各行各业所面临的严峻考验。高效利用海量数据挖掘出有价值的信息成为工业界发展的必然选择。由Google实验室提出的mapreduce编程模型是一种快速、简洁、高效的大数据的处理方法。其通过对大数据块进行子任务划分、任务调配、并行化处理、容错处理等进行封装,很大程度上简化了并行程序的设计,目前已在Google、 Facebook、阿里巴巴等公司的许多项目中得到应用。相比较而言,传统的计算机其有限的运算单元和存储带宽,束缚其性能和功耗无法满足日益推成出新的应用需求。可重构计算架构的处理系统兼顾了专用集成电路的高效性和通用处理器的灵活性的优势,其可高效并行处理计算密集型应用的特点,成为解决并行计算多样性需求的有效途径。本文针对高效处理海量数据的场景下,对mapreduce编程模型和可重构计算技术进行了深入的研究；提出了将mapreduce编程模型与可重构计算技术相结合的研究方案；选取了Kmeans聚类算法和FIR滤波算法两种典型的算法作为目标算法；设计了Kmeas聚类算法和FIR滤波算法的mapreduce编程,完成了这两种算法在可重构硬件架构上的映射。完成了上述算法在可重构计算平台和通用计算平台ATOM230上的性能对比实验,实验结果表明：在可重构计算平台上实现基于mapreduce模型并行化的Kmeans聚类算法和FIR滤波算法在运行时间上较ATOM230通用计算平台分别提升3.2倍和2.6倍。

关键词：大数据 mapreduce编程模型可重构计算

来源：评论

学校读者我要写书评

暂无评论

基于贝叶斯网络的云取证研究

基于贝叶斯网络的云取证研究

引用

作者：刘栋山东师范大学

学位级别：硕士

近几年来，“云计算”成为信息技术领域里新出现的最具革命性的技术，其最大特点是整合信息系统资源，保持低成本状态下却可以提供高效计算服务，这使得传统的计算机使用习惯逐渐发生改变。带来方便使用的同时，不法分子也可以在云平台... 详细信息

近几年来，“云计算”成为信息技术领域里新出现的最具革命性的技术，其最大特点是整合信息系统资源，保持低成本状态下却可以提供高效计算服务，这使得传统的计算机使用习惯逐渐发生改变。带来方便使用的同时，不法分子也可以在云平台中实施犯罪活动，其操作行为所留下的痕迹呈现出新的规律，云平台的复杂分布式结构也给取证工作带来新的挑战。电子取证技术是发现并证实违法行为、有效打击网络信息犯罪活动的重要手段，因此基于云计算技术的电子取证—云取证，在云环境下的案件侦破过程中起到至关重要的作用，这既是信息安全技术发展的必然，也是电子取证模式发展的必然，目前国内外对于云取证的研究尚处于起步阶段。云取证基于云计算技术所体现的基本理念和主体思维，结合电子取证的各种基本原理，达到前者对后者的融合与吸收。本文深入分析了云计算技术在证据挖掘领域的应用，探讨了云计算关键技术和贝叶斯网络算法，并将贝叶斯网络理论应用到云取证证据分析中，研究思路依据电子取证的基本流程，即证据挖掘、证据处理和证据分析。本文主要研究如下： (1)系统探讨了电子取证、云计算和云取证的基本概念，对电子取证技术、云环境面临的安全威胁以及云平台的实现机制进行了总结，深入分析了云取证的关键技术，最后给出了云取证的基本流程。 (2)研究分析了云取证中的证据挖掘和证据处理过程，介绍了贝叶斯网络和mapreduce编程模型的基本理论。提出了基于mapreduce的序列模式挖掘算法，并对挖掘到的证据进行事件关联分析，运用贝叶斯网络构建了事件的贝叶斯结构模型，去除冗余数据，使取证结果能更好地起到决策支持和预测作用，为证据分析提供可靠信息。 (3)提出了基于贝叶斯网络的证据分析技术，分析从云存储设备中提取的海量数据之间的关联关系，找到犯罪分子作案的痕迹，呈现犯罪事实，并结合云环境中的实际犯罪案例进行分析，提出假设并推理假设，构建了基于贝叶斯网络的证据分析模型。 (4)结合云计算技术的分布式、协作处理等特性，设计并实现了由云取证服务平台和客户端组成的云取证服务系统。

关键词：云计算云取证 mapreduce编程模型证据分析贝叶斯网络

来源：评论

学校读者我要写书评

暂无评论

一种基于mapreduce的商业智能系统设计与实现

一种基于MapReduce的商业智能系统设计与实现

引用

作者：黄斌中国科学院研究生院

学位级别：硕士

商业智能作为一种知识挖掘与决策支持的手段在信息化商业时代发挥着越来越重要的作用。商业智能系统的构建涉及到一系列的数据分析方法与知识发掘手段。如何运用这些知识发现手段去构建一个商业智能系统，从而为商业活动提供决策支持在... 详细信息

商业智能作为一种知识挖掘与决策支持的手段在信息化商业时代发挥着越来越重要的作用。商业智能系统的构建涉及到一系列的数据分析方法与知识发掘手段。如何运用这些知识发现手段去构建一个商业智能系统，从而为商业活动提供决策支持在互联网时代变得尤为重要。\n 电子商务、社交网站等互联网应用以及物联网、移动互联网的发展带来了数据的爆炸式增长，如何从海量数据中挖掘出商业价值成为企业能在商业竞争中脱颖而出的重要因素。随着数据的增长，低成本、高可用的需求成为衡量商业智能系统的一个标准。“大数据”对传统的商业智能系统提出了挑战。\n mapreduce编程模型的简单性和高性价比使得其适用于海量数据的并行处理。然而，mapreduce欠缺对多数据源、组件复用以及数据可视化的支持，这些缺点使用户在运用mapreduce构建商业智能系统时暴露出效率低下，重复开发等问题。\n 本文在调研了与商业智能相关的ETL过程、数学模型、数据挖掘、数据可视化等数据处理、知识发现、数据展示技术的基础上，结合mapreduce编程模型的特点，研究构建基于mapreduce商业智能系统的关键技术点。同时，结合OSGi框架完善的组件管理能力和面向模型驱动的开发方法学，研究了包括时间序列、经济学预测模型、数据挖掘算法并行化、代码生成技术、可视化技术等与构建基于mapreduce的商业智能系统相关的技术。\n 基于上述研究与分析，本文提出了一种基于mapreduce的商业智能系统的设计与实现。该设计思想为mapreduce作为大规模数据计算平台在构建商业智能系统、并行化数据挖掘以及数据可视化方面的不足提供了参考与弥补。同时，基于该方法实现了一个商业智能工具OnceBI。

关键词： mapreduce编程模型商业智能系统可视化技术组件重用数据挖掘算法

来源：评论

学校读者我要写书评

暂无评论

基于Hadoop平台的并行LDA学习方法研究与应用

基于Hadoop平台的并行LDA学习方法研究与应用

引用

作者：王灵江南京大学

学位级别：硕士

许多学习和数据挖掘算法性能的好坏在很大程度上取决于能否获得一个好的距离度量。本文研究的内容是关于马氏距离度量的学习。关于马氏距离度量的学习主要可以分为三大类：特征向量的方法、凸优化的方法以及全局监督的方法。特征向量的... 详细信息

许多学习和数据挖掘算法性能的好坏在很大程度上取决于能否获得一个好的距离度量。本文研究的内容是关于马氏距离度量的学习。关于马氏距离度量的学习主要可以分为三大类：特征向量的方法、凸优化的方法以及全局监督的方法。特征向量的方法已经被广泛地用于寻找基于输入数据集的有效的线性变换。常用的特征向量方法有：主要成分分析、线性判别式分析以及相关成分分析。然而在如今这个海量数据的时代,传统的单机距离度量学习方法往往无法满足各种学习方法对于其时间和空间上的要求。因此,如何高速并行地完成距离度量学习的任务是一个富有挑战性的问题,具有重要的理论和实用价值。目前,以mapreduce编程模型为基础的云计算平台为海量数据的距离度量学习提供了新的解决思路。本文提出并实现了一种基于Hadoop平台的并行距离度量学习的方法。该方法首先并行计算每个类别的平均向量,从而得到类别间的协方差矩阵；然后在此基础上,通过并行计算得到同一类别内的协方差矩阵；最后通过求特征向量的方法得到线性变换的矩阵。在不同大小的数据集上的实验结果表明,该方法大大提高了距离度量学习的效率,具有较好的加速比。本文还将并行化距离度量学习的结果应用于并行化k-近邻分类,在不同大小的数据集上的实验结果表明,距离度量学习对于提高k-近邻的分类准确率具有显著的效果。而且,并行化的k-近邻分类本身也大大提升了分类的效率,具有非常好的加速比。

关键词：距离度量学习 Hadoop平台并行 mapreduce编程模型 k-近邻分类

来源：评论

学校读者我要写书评

暂无评论

基于网格单元和P权值的离群数据挖掘及其并行化

基于网格单元和P权值的离群数据挖掘及其并行化

引用

作者：冯婷婷太原科技大学

学位级别：硕士

数据挖掘是从海量数据中发现有价值信息和知识的非平凡过程,可为决策支持服务,而离群数据挖掘是数据挖掘领域的重要组成部分之一。离群数据中经常包含着一些新颖而重要的信息,具有很高的研究价值,离群数据挖掘已在网络入侵检测、信用卡... 详细信息

数据挖掘是从海量数据中发现有价值信息和知识的非平凡过程,可为决策支持服务,而离群数据挖掘是数据挖掘领域的重要组成部分之一。离群数据中经常包含着一些新颖而重要的信息,具有很高的研究价值,离群数据挖掘已在网络入侵检测、信用卡欺诈检测、环境监控、医疗科学等领域都得到广泛应用。本文从海量数据集的空间分布特征与网格单元空间特征结合的角度出发,运用网格单元、P权值以及mapreduce并行编程模型,对离群点挖掘算法及其并行化进行了研究。其主要研究成果如下:1)给出了一种基于网格单元和P权值的离群数据挖掘算法(CWOP)。该算法首先将数据集的每维均分,划分网格单元,并在网格单元中,筛选出离群数据和正常数据网格单元;对既含有离群数据又有正常数据的网格单元,采用P权值的方法,来度量和确定离群数据,从而进一步提高了离群挖掘精度;最后,运用UCI数据集,实验验证了本文算法的可行性。2)利用mapreduce编程模型,给出了一种基于网格单元和P权值的并行离群数据挖掘方法。该算法首先采用三对Map和Reduce函数实现了统计每维数据的最大最小值、统计每个单元及邻域单元的对象数并选出一部分离群数据;其次,计算离群候选对象的P权值;最后,采用UCI数据集和天体光谱数据,用Eclipse作为开发工具,采用Java语言编写程序,设计并实现了mapreduce下基于网格单元和P权值的并行离群数据挖掘算法,实验验证了本文算法的有效性、可扩展性和可伸缩性。

关键词：数据挖掘离群数据网格单元 P权值 mapreduce编程模型

来源：评论

学校读者我要写书评

暂无评论

没有更多数据了...

全选清除本页清除全部题录导出标记到“检索档案”

共6页 << < 1 2 3 4 5 6 > >>

检索报告对象比较合并检索0

隐藏清空

合并搜索

回到顶部

执行限定条件

内容：

评分：

请选择保存的检索档案：

请选择收藏分类：

订阅名称：

通借通还

温馨提示：

图书名称：

借书校区：

取书校区：

手机号码：

邮箱地址：

一卡通帐号：

电话和邮箱必须正确填写，我们会与您联系确认。

联系人：

所在院系：

联系邮箱：

联系电话：

内蒙古自治区呼和浩特市赛罕区大学西街235号邮编: 010021

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：