检索结果-内蒙古大学图书馆

计算机工程与应用 2013年第14期49卷 133-137,151页

作者：虞倩倩戴月明江南大学物联网工程学院江苏无锡214122

模糊C均值是一种重要的软聚类算法,针对模糊C均值的随着数据量的增加,时间复杂度过高的缺点,提出了一种基于mapreduce的并行模糊C均值算法。算法重新设计模糊C均值,使其符合mapreduce的基于key/value的编程模型,并行计算数据集到中心点... 详细信息

模糊C均值是一种重要的软聚类算法,针对模糊C均值的随着数据量的增加,时间复杂度过高的缺点,提出了一种基于mapreduce的并行模糊C均值算法。算法重新设计模糊C均值,使其符合mapreduce的基于key/value的编程模型,并行计算数据集到中心点的隶属度,并重新计算出新的聚类中心,提高了模糊C均值处理大容量数据的计算效率。实验结果表明,基于mapreduce的并行模糊C均值算法具有较高的加速比和扩展性。

关键词：模糊C均值并行计算 mapreduce编程模型数据挖掘云计算

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的约束频繁项集挖掘算法

引用

计算机工程与设计 2015年第10期36卷 2725-2728,2748页

作者：施亮钱雪忠江南大学物联网工程学院江苏无锡214122

传统的约束频繁项集挖掘方法无法实现对较大数据量的快速处理,针对该问题,结合分布式框架Hadoop的分布式计算优势,提出一种基于mapreduce的约束频繁项集挖掘算法。将一个完整的挖掘任务分成若干个相对独立的子任务,根据用户自定义的约... 详细信息

传统的约束频繁项集挖掘方法无法实现对较大数据量的快速处理,针对该问题,结合分布式框架Hadoop的分布式计算优势,提出一种基于mapreduce的约束频繁项集挖掘算法。将一个完整的挖掘任务分成若干个相对独立的子任务,根据用户自定义的约束条件对子任务进行并行挖掘,提高算法的执行效率。实验结果表明,该算法具有较好的实用性和良好的扩展性。

关键词：数据挖掘 mapreduce编程模型约束频繁项集频繁模式树关联规则

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的分布式网络数据聚类算法

引用

计算机工程 2013年第7期39卷 76-82页

作者：陈东明刘健王冬琦徐晓伟东北大学软件学院沈阳110819 阿肯色大学小石城分校信息科学系美国小石城72204

时空复杂度较高以及物理机器内存不足,会导致传统聚类算法不能有效地分析处理大规模数据网络。针对该问题,在mapreduce分布式模型的基础上,提出一种网络数据分布式聚类算法。根据MRC理论设计有限mapreduce轮数,控制混洗过程所需时间,利... 详细信息

时空复杂度较高以及物理机器内存不足,会导致传统聚类算法不能有效地分析处理大规模数据网络。针对该问题,在mapreduce分布式模型的基础上,提出一种网络数据分布式聚类算法。根据MRC理论设计有限mapreduce轮数,控制混洗过程所需时间,利用Map内合并技术对网络流量进行控制,在进行中间结果合并时仅对社团合并,而不考虑社团内部节点,以控制内存开销。使用模拟生成的数据在集群中进行实验,结果表明,当数据规模和集群规模增大时,该算法具有较好的加速比和扩展性。

关键词：聚类算法分布式聚类 mapreduce编程模型数据挖掘社团结构

来源：评论

学校读者我要写书评

暂无评论

支持隐私保护的众包实体解析

引用

计算机科学与探索 2014年第7期8卷 802-811页

作者：燕彩蓉张洋舜徐光伟东华大学计算机科学与技术学院上海201620 同济大学嵌入式系统与服务计算教育部重点实验室上海200092

实体解析是指发现并聚合描述现实世界中同一对象的记录。纯粹的机器算法虽然可以获得较高的效率,但是准确率难以保证。提出了一种机器计算与众包相结合的实体解析方法。该方法首先采用mapreduce并行计算框架排除不可能匹配的记录对,减... 详细信息

实体解析是指发现并聚合描述现实世界中同一对象的记录。纯粹的机器算法虽然可以获得较高的效率,但是准确率难以保证。提出了一种机器计算与众包相结合的实体解析方法。该方法首先采用mapreduce并行计算框架排除不可能匹配的记录对,减少人类智能任务的数量,然后由人工进行确定性标注。为了支持隐私保护,在众包计算时提出了基于角色的访问控制模型和重要信息隐藏策略。该方法和模型被应用于某医院患者主索引构建平台,实验结果表明,人机结合方法充分利用了机器和人工处理的优势,可以进行高效率和高精度的患者实体解析,并且有效地避免了患者信息的泄漏。

关键词：实体解析众包 mapreduce编程模型隐私保护患者主索引

来源：评论

学校读者我要写书评

暂无评论

面向大规模数据集的自适应聚类算法并行化研究

面向大规模数据集的自适应聚类算法并行化研究

引用

作者：肖雪平曲阜师范大学

学位级别：硕士

目前,随着网络的普及,各种应用设备逐渐日常化,产生的数据量日益增多,因此需要分析处理的数据规模越来越大,从而使数据挖掘任务变得愈加复杂。作为一种无监督学习方式,聚类是数据挖掘领域的一种重要工具。按照相似性度量原则,聚类尽可... 详细信息

目前,随着网络的普及,各种应用设备逐渐日常化,产生的数据量日益增多,因此需要分析处理的数据规模越来越大,从而使数据挖掘任务变得愈加复杂。作为一种无监督学习方式,聚类是数据挖掘领域的一种重要工具。按照相似性度量原则,聚类尽可能地将具有相同性质的数据对象归于一类,有助于从数据集中提取潜藏的、有价值的信息。一般而言,传统聚类算法在处理大规模数据集时由于受到时间、内存、CPU等资源的限制,很难实现高效处理。因此,针对大规模数据集,如何快速、高效、自适应地对其聚类,并从中挖掘到有价值的信息极具研究意义。近年来,分布式计算、云计算以及分布式存储等技术的迅速发展,为大规模数据集的高效聚类提供了新的研究方向。Hadoop作为Apache的开源项目,采用HDFS(Hadoop Distributed File System)进行数据存储,利用mapreduce编程模型完成对海量数据集的并行处理。Spark作为一种以内存计算为基础的高效并行计算框架,在数据处理过程中,通过将聚类产生的中间结果直接存放到内存中,提高了迭代运算的效率。本文将并行化的思想引入到大规模数据的聚类处理过程中,基于Hadoop和Spark架构对聚类算法做了如下三方面的研究:第一,针对大规模数据集的特点,总结了大规模数据集聚类的主要相关技术及其应用领域;在分析Hadoop架构与mapreduce编程模型的基础上,深入研究了Spark计算框架,并阐释了K-means、Canopy和基本粒子群算法的核心思想及算法流程图。第二,在研究传统K-means、Canopy算法的基础上,针对中心点选取存在的盲目性和随机性问题,提出了一种面向大规模数据集的二分Canopy-Kmeans并行聚类算法(下文简称BCK-means)。该算法采用“动态迭代初始化原则”与“二分法”结合的策略,在确定Canopy初始中心点和T1的基础上,利用mapreduce编程模型实现了算法的并行化处理,在一定程度上适应了大规模数据集的分布式存储应用环境。实验表明,算法的聚类结果能够较好地反映大规模数据集合内在的结构属性划分,尽可能高效地利用了集群的计算和存储能力。第三,在问题二研究的基础上,结合基本粒子群算法的自适应性特点,提出了一种动态自适应惯性权重的粒子群优化K-means并行聚类算法(下文简称dsPSOK-means)。该算法通过适应函数动态调整惯性权重,使dsPSO算法具有自适应特性,然后将dsPSO算法的输出作为K-means算法的输入,从而提高了K-means算法在选择初始中心点的智能性和自适应性。进而,借助Spark平台,设计并实现了集群环境下的dsPSOK-means并行化聚类算法。实验结果表明,dsPSOK-means算法可以有效地减少执行过程中节点间的通信量,能够实现数据的高效处理。总之,本文针对大规模数据集的自适应聚类并行化算法研究,对于解决传统聚类算法处理海量数据的瓶颈问题,有一定的积极作用,为有效提高聚类算法的效率和聚类质量提供了一种新的解决方案。

关键词： Hadoop 聚类分析 mapreduce编程模型 K-means算法 Spark

来源：评论

学校读者我要写书评

暂无评论

云计算环境下GML时空数据聚类挖掘研究

云计算环境下GML时空数据聚类挖掘研究

引用

作者：刘琴江西理工大学

学位级别：硕士

GML的时空数据中隐含着许多的知识信息,这些隐含着的模式与特征,数据与数据之间的关系及其特征等等,通过挖掘这些知识让人们增加对自然界的了解,获取自然界事物的联系、规律和相互间的作用,为人类的生产和生活起积极的指导和决策作用。... 详细信息

GML的时空数据中隐含着许多的知识信息,这些隐含着的模式与特征,数据与数据之间的关系及其特征等等,通过挖掘这些知识让人们增加对自然界的了解,获取自然界事物的联系、规律和相互间的作用,为人类的生产和生活起积极的指导和决策作用。然而,由于GML时空数据的时间、空间以及半结构化特性,导致无法使用精确的模式来定义GML时空数据,而使得从GML时空数据中进行信息提取比从传统数据中挖掘信息复杂得多。同时,GML时空数据量繁多和计算密集型的特点,使得进行数据挖掘时对计算机的硬件要求一定程度上制约着信息化处理的进程。为此本文在搭建的云计算环境Hadoop平台下,提出了两种GML时空的并行聚类挖掘算法,并且设计和实现了并行GML时空的聚类挖掘原型系统,将聚类结果以地图的形式可视化的呈现出来。在分布式并行计算环境下,可以在很大程度上提高海量时空数据挖掘时遇到的瓶颈问题,即效率问题。具体如下：（1）提出两种针对GML时空序列数据挖掘的并行聚类算法,第一种是提出了结合K-means基于时间序列的GML时空相似度度量,把空间属性和时间序列一同考虑来度量空间对象的时间序列相似度,通过并行的K-means聚类算法来进行数据挖掘。（2）第二种是根据空间邻域的定义,先确定GML时空对象的空间邻域,再在该邻域内计算两具有时间序列属性的时空对象的基于时间序列的相似度,结合并行的DBSCAN （STNPDBSCAN）聚类算法进行时空数据的挖掘。（3）通过搭建Hadoop云计算的平台,采用mapreduce的编程模型将K-means和DBSCAN两种聚类算法进行并行实现。设计实现并行GML时空聚类挖掘的原型系统,并在该系统上应用实际的具有时间序列属性的GML气象数据,通过实验验证了两种并行算法聚类质量的有效性、算法的高效性能以及算法良好的可扩展性能。（4）最后,将聚类所得的结果以地图的形式可视化的呈现出来。

关键词： GML 并行聚类挖掘时空相似性度量 mapreduce编程模型

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的汉字识别的研究与实现

基于MapReduce的汉字识别的研究与实现

引用

作者：刘煜星华南理工大学

学位级别：硕士

汉字识别是模式识别的一个重要分支,它主要研究如何利用计算机自动识别纸质上的汉字。随着信息化程度的不断提高,我们在日常工作中经常需要将大量的纸质文档资料转换成计算机可存储的电子文档。汉字识别技术的发展帮助我们不需要手工输... 详细信息

汉字识别是模式识别的一个重要分支,它主要研究如何利用计算机自动识别纸质上的汉字。随着信息化程度的不断提高,我们在日常工作中经常需要将大量的纸质文档资料转换成计算机可存储的电子文档。汉字识别技术的发展帮助我们不需要手工输入就可以完成这些转换工作。但是,随着我们需要进行转换的数据量的不断增大,传统的汉字识别算法在效率上已经不能满足我们的要求。因此,我们提出将汉字识别算法并行化的策略。通过对目前相当热门的Hadoop技术作深入的研究后,我们发现可以利用Hadoop提供的mapreduce编程模型来实现并行汉字识别算法。 mapreduce是由Google率先提出的编程模型,该模型支持大规模数据的并行处理。mapreduce分成两个执行阶段:map阶段,它处理输入数据然后生成中间键值对数据;reduce阶段,获取map产生的键值对,此时键值对的值是一个列表,经过处理后输出结果。本文在深入研究了mapreduce编程模型的相关技术以及汉字识别算法之后,分析了传统的汉字识别算法存在的问题,然后提出并行汉字识别算法,并总结了并行汉字识别算法的优越性。接着提出了使用mapreduce编程模型来实现并行汉字识别算法的两种设计方案。重点阐述了如何使用mapreduce的map函数和reduce函数来实现并行汉字识别算法。另外,我们还分析了在Hadoop系统使用不同的作业调度算法的情况下两种设计方案的执行过程。基于本文设计的并行汉字识别算法,我们设计与实现了完整的汉字识别系统。它实现了客户端供用户提交识别作业请求,还实现了运行在Hadoop系统上的并行汉字识别算法的mapreduce程序。这样的设计使得系统具有可扩展、易维护更新等特点。本文最后通过一系列的实验来测试汉字识别系统的正确性、高效性以及可靠性。对比了并行汉字识别算法与传统汉字识别算法在大规模数据下的表现。

关键词： Hadoop平台 Hadoop分布式文件系统 mapreduce编程模型汉字识别

来源：评论

学校读者我要写书评

暂无评论

高性能计算体系结构下的海量数据处理分析与优化

高性能计算体系结构下的海量数据处理分析与优化

引用

作者：黄訸国防科学技术大学

学位级别：硕士

本文的研究内容是探索如何在高性能计算机上搭建海量数据处理平台,高效地实现海量数据处理。首先,阐述了在高性能计算机上进行海量数据处理的难点和重大意义,分析了在高性能计算机上处理数据密集型应用,部署mapreduce架构的必要性、可... 详细信息

本文的研究内容是探索如何在高性能计算机上搭建海量数据处理平台,高效地实现海量数据处理。首先,阐述了在高性能计算机上进行海量数据处理的难点和重大意义,分析了在高性能计算机上处理数据密集型应用,部署mapreduce架构的必要性、可行性、以及可能遇到的问题。其次,通过实验对高性能计算机上mapreduce架构的性能进行评测。分别在不同的节点规模下、基于不同的存储系统、对不同类型应用的性能进行了评测。通过评测发现,分布式文件系统(DFS)的I/O性能可以随着节点数目的增加线性扩展,而集中存储系统的I/O性能则受限于集中存储系统中磁盘阵列的规模,所以在节点数目增加的情况下,基于DFS的测试性能要好得多。再次,建立了RA-mapreduce性能预测模型。通过详细分析mapreduce作业各个阶段的执行过程,把执行mapreduce应用的性能(主要通过作业总的时间开销来反映)与应用特性参数以及集群硬件环境特性参数关联起来。通过该模型,可以计算出不同体系结构和硬件资源环境下,处理不同类型的数据密集型应用时,mapreduce作业各个阶段的时间开销,以及计算开销、数据I/O开销等在各个阶段中所占的比例。利用RA-mapreduce性能预测模型,既可以预测在特定硬件环境下运行某一特定mapreduce应用能够获得的最佳性能,也可以分析出影响mapreduce应用性能的瓶颈因素,以及增加某一类集群硬件资源能够获得的性能提升。接下来,针对高性能计算机数据I/O能力有限,可能无法满足当前数据密集型应用需要的问题,提出了对高性能计算机上mapreduce架构设计的优化,即中间结果网络数据传输优化和中间结果本地存储优化。最后,把RA-mapreduce性能预测模型与实验数据结合起来,验证了模型的正确性。通过模型分析和实验验证两个方面,分别证明了中间结果网络数据传输优化和中间结果本地存储优化,在高性能体系结构下的有效性。在本文的实验中,存储系统的I/O是系统性能的主要瓶颈,而中间结果本地存储优化减轻了集中存储系统的负担,很好地改善了系统的性能。实验证明,基于集中存储系统排序1TB数据,加入中间结果本地存储优化后,性能提升了32.5%。

关键词：高性能计算机海量数据处理 mapreduce编程模型

来源：评论

学校读者我要写书评

暂无评论

mapreduce下相似性连接算法改进的研究

MapReduce下相似性连接算法改进的研究

引用

作者：刘云霞大连海事大学

学位级别：硕士

在大数据的时代背景下,拼写检查、数据清洗、协同过滤等应用成为研究热点,而相似性连接作为这些众多数据分析的基本操作有着广泛的应用价值,同时Google提出的mapreduce编程模型是处理海量数据最流行的并行计算模型之一,但因其不能较好... 详细信息

在大数据的时代背景下,拼写检查、数据清洗、协同过滤等应用成为研究热点,而相似性连接作为这些众多数据分析的基本操作有着广泛的应用价值,同时Google提出的mapreduce编程模型是处理海量数据最流行的并行计算模型之一,但因其不能较好的支持相似性连接算法,使得在mapreduce上进行相似性连接成为大数据的一个重要可扩展的研究领域。相似性连接中,以n-gram算法为基础的传统算法应用领域非常广泛,增加了错误拼写对相似性度量的影响,但由于该算法生成的标记存在大量冗余,无形中增加了内存空间的消耗以及运行时间。随后针对n-gram算法提出了改进的ED-Join算法,在前缀筛选阶段减少了前缀标记的数量,但却给每个标记分配了位置因素,虽然运行时间显著减少,空间消耗减少却不多。并且以n-gram算法为基础的ED-Join算法并没有在并行架构下实现,无法适应海量数据处理的要求,因此在海量的数据中改进n-gram算法,减少冗余,减少空间消耗以及运行时间成为亟待解决的问题。针对以上问题,本文改进了传统的n-gram算法以及ED-Join算法,提出一种支持mapreduce的新型算法-n-gram-imp算法。首先,该算法在划分字符串时,用无冗余滑动窗口代替冗余滑动窗口,仅需选取少量的前缀标记参加过滤即可,使空间利用效率以及运行时间都得到了提升。其次,n-gram-imp算法生成的标记无冗余,需要对筛选出的标记进行针对性的过滤操作,所以提出了 Pre-imp前缀过滤算法。最后,在mapreduce计算模型上实现了基于n-gram-imp算法的相似性连接问题,达到了降低算法运行时间,加快数据处理速度的目的。最终在真实数据集和合成数据集上进行了大量的实验。通过与传统的n-gram算法以及ED-Join算法进行对比分析,证明了在并行架构下进行n-gram-imp算法的相似性连接可以达到在平均生成标记的数量、总体运行时间以及消耗内存三方面优于传统的n-gram算法以及ED-Join算法的目的。

关键词：相似性连接 mapreduce编程模型 n-gram ED-Join 滑动窗口

来源：评论

学校读者我要写书评

暂无评论

基于Hadoop的不确定频繁项集并行挖掘方法研究

基于Hadoop的不确定频繁项集并行挖掘方法研究

引用

作者：王苏琦南京大学

学位级别：硕士

近年来,由于不确定数据的广泛应用,基于不确定数据的频繁项集的挖掘成为研究的热点。由于在不确定数据中,项集的支持度是一个随机的变量而不是一个固定的值。因此,不确定数据中关于频繁项集的定义大致分为两种：一种是基于期望支持度的... 详细信息

近年来,由于不确定数据的广泛应用,基于不确定数据的频繁项集的挖掘成为研究的热点。由于在不确定数据中,项集的支持度是一个随机的变量而不是一个固定的值。因此,不确定数据中关于频繁项集的定义大致分为两种：一种是基于期望支持度的频繁项集,它主要是根据项集的期望支持度来衡量它是否是频繁项集。第二种,基于概率的频繁项集,它主要是根据项集的频繁概率来确定频繁项集。然而,在如今这个海量数据的时代,传统的单机模式下的不确定频繁项集的挖掘方法往往无法满足用户对于时间和空间上的要求。因此,如何高效并行地完成不确定数据下频繁项集的挖掘任务是一个富有挑战性的问题,且具有重要的理论和实用价值。目前,以mapreduce编程模型为基础的Hadoop平台,为海量数据下的不确定数据中频繁项集的挖掘提供了新的解决思路。本文针对不确定频繁项集的并行挖掘算法,主要进行了三个方面的研究。首先,本文实现了基于期望支持度的不确定频繁项集并行挖掘算法,且在多个数据集上的实验证明了这种算法的可并行性和有效性。其次,本文实现了基于概率的不确定频繁项集并行挖掘算法,在计算概率的同时,本文引入了产生式来计算项集的频繁概率。最后,本文实现了近似概率不确定频繁项集并行挖掘算法,主要是利用泊松分布和正态分布对项集的支持度进行估计,进而求出项集的频繁概率。这两种算法均在保证精确率和召回率的同时大大提高了挖掘概率频繁项集的效率。

关键词：频繁项集的挖掘 Hadoop平台 mapreduce编程模型不确定数据

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：