检索结果-内蒙古大学图书馆

计算机工程 2013年第7期39卷 76-82页

作者：陈东明刘健王冬琦徐晓伟东北大学软件学院沈阳110819 阿肯色大学小石城分校信息科学系美国小石城72204

时空复杂度较高以及物理机器内存不足,会导致传统聚类算法不能有效地分析处理大规模数据网络。针对该问题,在mapreduce分布式模型的基础上,提出一种网络数据分布式聚类算法。根据MRC理论设计有限mapreduce轮数,控制混洗过程所需时间,利... 详细信息

时空复杂度较高以及物理机器内存不足,会导致传统聚类算法不能有效地分析处理大规模数据网络。针对该问题,在mapreduce分布式模型的基础上,提出一种网络数据分布式聚类算法。根据MRC理论设计有限mapreduce轮数,控制混洗过程所需时间,利用Map内合并技术对网络流量进行控制,在进行中间结果合并时仅对社团合并,而不考虑社团内部节点,以控制内存开销。使用模拟生成的数据在集群中进行实验,结果表明,当数据规模和集群规模增大时,该算法具有较好的加速比和扩展性。

关键词：聚类算法分布式聚类 mapreduce编程模型数据挖掘社团结构

来源：评论

学校读者我要写书评

暂无评论

基于Hadoop的不确定频繁项集并行挖掘方法研究

基于Hadoop的不确定频繁项集并行挖掘方法研究

引用

作者：王苏琦南京大学

学位级别：硕士

近年来,由于不确定数据的广泛应用,基于不确定数据的频繁项集的挖掘成为研究的热点。由于在不确定数据中,项集的支持度是一个随机的变量而不是一个固定的值。因此,不确定数据中关于频繁项集的定义大致分为两种：一种是基于期望支持度的... 详细信息

近年来,由于不确定数据的广泛应用,基于不确定数据的频繁项集的挖掘成为研究的热点。由于在不确定数据中,项集的支持度是一个随机的变量而不是一个固定的值。因此,不确定数据中关于频繁项集的定义大致分为两种：一种是基于期望支持度的频繁项集,它主要是根据项集的期望支持度来衡量它是否是频繁项集。第二种,基于概率的频繁项集,它主要是根据项集的频繁概率来确定频繁项集。然而,在如今这个海量数据的时代,传统的单机模式下的不确定频繁项集的挖掘方法往往无法满足用户对于时间和空间上的要求。因此,如何高效并行地完成不确定数据下频繁项集的挖掘任务是一个富有挑战性的问题,且具有重要的理论和实用价值。目前,以mapreduce编程模型为基础的Hadoop平台,为海量数据下的不确定数据中频繁项集的挖掘提供了新的解决思路。本文针对不确定频繁项集的并行挖掘算法,主要进行了三个方面的研究。首先,本文实现了基于期望支持度的不确定频繁项集并行挖掘算法,且在多个数据集上的实验证明了这种算法的可并行性和有效性。其次,本文实现了基于概率的不确定频繁项集并行挖掘算法,在计算概率的同时,本文引入了产生式来计算项集的频繁概率。最后,本文实现了近似概率不确定频繁项集并行挖掘算法,主要是利用泊松分布和正态分布对项集的支持度进行估计,进而求出项集的频繁概率。这两种算法均在保证精确率和召回率的同时大大提高了挖掘概率频繁项集的效率。

关键词：频繁项集的挖掘 Hadoop平台 mapreduce编程模型不确定数据

来源：评论

学校读者我要写书评

暂无评论

基于贝叶斯网络的云取证研究

基于贝叶斯网络的云取证研究

引用

作者：刘栋山东师范大学

学位级别：硕士

近几年来，“云计算”成为信息技术领域里新出现的最具革命性的技术，其最大特点是整合信息系统资源，保持低成本状态下却可以提供高效计算服务，这使得传统的计算机使用习惯逐渐发生改变。带来方便使用的同时，不法分子也可以在云平台... 详细信息

近几年来，“云计算”成为信息技术领域里新出现的最具革命性的技术，其最大特点是整合信息系统资源，保持低成本状态下却可以提供高效计算服务，这使得传统的计算机使用习惯逐渐发生改变。带来方便使用的同时，不法分子也可以在云平台中实施犯罪活动，其操作行为所留下的痕迹呈现出新的规律，云平台的复杂分布式结构也给取证工作带来新的挑战。电子取证技术是发现并证实违法行为、有效打击网络信息犯罪活动的重要手段，因此基于云计算技术的电子取证—云取证，在云环境下的案件侦破过程中起到至关重要的作用，这既是信息安全技术发展的必然，也是电子取证模式发展的必然，目前国内外对于云取证的研究尚处于起步阶段。云取证基于云计算技术所体现的基本理念和主体思维，结合电子取证的各种基本原理，达到前者对后者的融合与吸收。本文深入分析了云计算技术在证据挖掘领域的应用，探讨了云计算关键技术和贝叶斯网络算法，并将贝叶斯网络理论应用到云取证证据分析中，研究思路依据电子取证的基本流程，即证据挖掘、证据处理和证据分析。本文主要研究如下： (1)系统探讨了电子取证、云计算和云取证的基本概念，对电子取证技术、云环境面临的安全威胁以及云平台的实现机制进行了总结，深入分析了云取证的关键技术，最后给出了云取证的基本流程。 (2)研究分析了云取证中的证据挖掘和证据处理过程，介绍了贝叶斯网络和mapreduce编程模型的基本理论。提出了基于mapreduce的序列模式挖掘算法，并对挖掘到的证据进行事件关联分析，运用贝叶斯网络构建了事件的贝叶斯结构模型，去除冗余数据，使取证结果能更好地起到决策支持和预测作用，为证据分析提供可靠信息。 (3)提出了基于贝叶斯网络的证据分析技术，分析从云存储设备中提取的海量数据之间的关联关系，找到犯罪分子作案的痕迹，呈现犯罪事实，并结合云环境中的实际犯罪案例进行分析，提出假设并推理假设，构建了基于贝叶斯网络的证据分析模型。 (4)结合云计算技术的分布式、协作处理等特性，设计并实现了由云取证服务平台和客户端组成的云取证服务系统。

关键词：云计算云取证 mapreduce编程模型证据分析贝叶斯网络

来源：评论

学校读者我要写书评

暂无评论

云计算环境下的线性有限元方法研究

云计算环境下的线性有限元方法研究

引用

作者：符伟华中科技大学

学位级别：硕士

以虚拟化技术为基础的云计算正成为研究人员关注的焦点，基于云计算的商业模型和学术研究不断涌现。在过去的几十年里，由多核和多处理器组成的高性能计算机为大规模复杂工程和科学问题提供了有效的解决办法，但目前的高性能计算应用具... 详细信息

以虚拟化技术为基础的云计算正成为研究人员关注的焦点，基于云计算的商业模型和学术研究不断涌现。在过去的几十年里，由多核和多处理器组成的高性能计算机为大规模复杂工程和科学问题提供了有效的解决办法，但目前的高性能计算应用具有很强的专业性、使用门槛高。云计算中常用的编程模型mapreduce对并行描述进行了高度抽象，通过简单的编程接口即可实现程序的自动并行化，这大大降低了并行程序开发的难度和分布式资源使用的门槛。有限元计算对计算资源的需求正随着工程问题规模的增大而不断增加，研究其在云计算环境下的实现有助于利用大量廉价的计算资源以完成复杂的工程问题求解，具有重要的探索意义。本文在充分调研科学计算向云计算环境迁移的基础上，通过开源云计算平台Hadoop搭建实验室的小型云计算环境，并将mapreduce编程模型引入到数值计算领域，研究了基于mapreduce编程模型的稀疏矩阵向量乘法、共轭梯度法等数值计算的并行策略和具体程序实现；结合mapreduce编程模型的优势和有限元计算的特点，通过适当的数据组织将有限元方法的单刚计算和总刚组装迁移到Hadoop平台下，提出了空间桁架系统线性问题求解的自动并行策略，并算法实现。数值实验表明，在Hadoop平台下运用本文所提出的策略和mapreduce编程模型进行有限元方法的并行计算具有简洁、易用的特性。算法在稀疏矩阵向量乘法、有限元组装等方面均取得了良好的计算性能，且随着计算规模和集群节点数目的增加，算法的计算效率越高，但目前方程组的求解效率有限，有待进一步的算法优化。

关键词：云计算 mapreduce编程模型 Hadoop 共轭梯度法有限元

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的微博用户搜索排名算法

引用

计算机应用 2012年第11期32卷 2989-2993页

作者：梁秋实吴一雷封磊北京市科学技术研究院北京市计算中心北京100012

在微博搜索领域,单纯依赖于粉丝数量的搜索排名使刷粉行为有了可乘之机,通过将用户看作网页,将用户间的"关注"关系看作网页间的链接关系,使PageRank关于网页等级的基本思想融入到微博用户搜索,并引入一个状态转移矩阵和一个... 详细信息

在微博搜索领域,单纯依赖于粉丝数量的搜索排名使刷粉行为有了可乘之机,通过将用户看作网页,将用户间的"关注"关系看作网页间的链接关系,使PageRank关于网页等级的基本思想融入到微博用户搜索,并引入一个状态转移矩阵和一个自动迭代的mapreduce工作流将计算过程并行化,进而提出一种基于mapreduce的微博用户搜索排名算法。在Hadoop平台上对该算法进行了实验分析,结果表明,该算法避免了用户排名单纯与其粉丝数量相关,使那些更具"重要性"的用户在搜索结果中的排名获得提升,提高了搜索结果的相关性和质量。

关键词：微博搜索云计算 mapreduce编程模型 Hadoop平台/系统 PageRank算法

来源：评论

学校读者我要写书评

暂无评论

面向高性能计算机的海量数据处理平台实现与评测

引用

计算机研究与发展 2012年第S1期49卷 357-361页

作者：黄訸易晓东李姗姗廖湘科国防科学技术大学计算机学院长沙410073

高性能计算机主要应用于传统的科学计算领域,而在云计算时代,数据密集型应用成为一大类新型应用,已经变得越来越重要.主要探索如何在高性能计算机上高效地进行海量数据处理,使高性能计算机在进行科学计算的同时,能够非常好地支持数据密... 详细信息

高性能计算机主要应用于传统的科学计算领域,而在云计算时代,数据密集型应用成为一大类新型应用,已经变得越来越重要.主要探索如何在高性能计算机上高效地进行海量数据处理,使高性能计算机在进行科学计算的同时,能够非常好地支持数据密集型应用,拓展高性能计算机的应用领域.分析了高性能计算机上mapreduce模型实现和部署的可行性之后,在高性能计算环境中进行了实验.实验结果表明,存储系统的并行I/O能力不能充分发挥,是造成系统无法高效运行的主要瓶颈.而导致这个性能瓶颈的原因,是高并发带来的对集群文件系统资源的竞争和冲突.最后,提出了几种解决集群文件系统资源冲突的方案,这是今后的研究方向.

关键词：高性能计算机海量数据处理 mapreduce编程模型

来源：评论

学校读者我要写书评

暂无评论

云计算环境下GML时空数据聚类挖掘研究

云计算环境下GML时空数据聚类挖掘研究

引用

作者：刘琴江西理工大学

学位级别：硕士

GML的时空数据中隐含着许多的知识信息,这些隐含着的模式与特征,数据与数据之间的关系及其特征等等,通过挖掘这些知识让人们增加对自然界的了解,获取自然界事物的联系、规律和相互间的作用,为人类的生产和生活起积极的指导和决策作用。... 详细信息

GML的时空数据中隐含着许多的知识信息,这些隐含着的模式与特征,数据与数据之间的关系及其特征等等,通过挖掘这些知识让人们增加对自然界的了解,获取自然界事物的联系、规律和相互间的作用,为人类的生产和生活起积极的指导和决策作用。然而,由于GML时空数据的时间、空间以及半结构化特性,导致无法使用精确的模式来定义GML时空数据,而使得从GML时空数据中进行信息提取比从传统数据中挖掘信息复杂得多。同时,GML时空数据量繁多和计算密集型的特点,使得进行数据挖掘时对计算机的硬件要求一定程度上制约着信息化处理的进程。为此本文在搭建的云计算环境Hadoop平台下,提出了两种GML时空的并行聚类挖掘算法,并且设计和实现了并行GML时空的聚类挖掘原型系统,将聚类结果以地图的形式可视化的呈现出来。在分布式并行计算环境下,可以在很大程度上提高海量时空数据挖掘时遇到的瓶颈问题,即效率问题。具体如下：（1）提出两种针对GML时空序列数据挖掘的并行聚类算法,第一种是提出了结合K-means基于时间序列的GML时空相似度度量,把空间属性和时间序列一同考虑来度量空间对象的时间序列相似度,通过并行的K-means聚类算法来进行数据挖掘。（2）第二种是根据空间邻域的定义,先确定GML时空对象的空间邻域,再在该邻域内计算两具有时间序列属性的时空对象的基于时间序列的相似度,结合并行的DBSCAN （STNPDBSCAN）聚类算法进行时空数据的挖掘。（3）通过搭建Hadoop云计算的平台,采用mapreduce的编程模型将K-means和DBSCAN两种聚类算法进行并行实现。设计实现并行GML时空聚类挖掘的原型系统,并在该系统上应用实际的具有时间序列属性的GML气象数据,通过实验验证了两种并行算法聚类质量的有效性、算法的高效性能以及算法良好的可扩展性能。（4）最后,将聚类所得的结果以地图的形式可视化的呈现出来。

关键词： GML 并行聚类挖掘时空相似性度量 mapreduce编程模型

来源：评论

学校读者我要写书评

暂无评论

面向图像特征标识的存储系统查询机制研究

面向图像特征标识的存储系统查询机制研究

引用

作者：武天尧华中科技大学

学位级别：硕士

随着数据规模不断增加和处理难度增大，大数据（Big Data）变得非常重要。存储系统对图像文件等非结构化的大数据查询服务缺乏有力支持，传统的文件元数据信息没有表达图像文件内容，区分度低。图像文件作为存储系统中一类增长迅速的文... 详细信息

随着数据规模不断增加和处理难度增大，大数据（Big Data）变得非常重要。存储系统对图像文件等非结构化的大数据查询服务缺乏有力支持，传统的文件元数据信息没有表达图像文件内容，区分度低。图像文件作为存储系统中一类增长迅速的文件数据，面临数据规模增加和查询性能优化的双重挑战。从这一点出发，提出一种面向图像文件的分布式存储系统中的索引策略，能够有效地提高图像文件查询效率，并能保证查询准确率。全文设计并实现面向图像文件的分布式查询系统，对用户的图像文件查询请求进行响应。采用执行速度快、具有良好稳定性的加速稳健特征算法提取图像的特征标识，对文件元数据进行辅助，增强对图像的表达力度。采用局部灵敏哈希方法（Locality Sensitive Hashing，LSH）解决高维的图像特征标识数据的最近邻居查询问题。研究的主要内容是结合局部灵敏哈希计算与mapreduce编程模型，提出一种分布式的索引策略，在分布式环境的多节点上并行采集图像特征标识，并使用多节点并发的哈希计算生成索引记录，解决局部灵敏哈希方法在时间和空间上开销大的问题，提高存储系统中图像文件的查询效率。最后，为了将索引记录的生成和用户数据处理分离，采用关系型数据库存储结构化的图像文件索引信息，进一步缩短用户查询响应时间。实验结果表明，分布式的索引构建和图像特征标识采集可以显著提高系统时间性能，对用户查询响应快，能够保证查询准确率。

关键词：查询服务局部灵敏哈希 mapreduce编程模型存储系统

来源：评论

学校读者我要写书评

暂无评论

一种基于mapreduce的商业智能系统设计与实现

一种基于MapReduce的商业智能系统设计与实现

引用

作者：黄斌中国科学院研究生院

学位级别：硕士

商业智能作为一种知识挖掘与决策支持的手段在信息化商业时代发挥着越来越重要的作用。商业智能系统的构建涉及到一系列的数据分析方法与知识发掘手段。如何运用这些知识发现手段去构建一个商业智能系统，从而为商业活动提供决策支持在... 详细信息

商业智能作为一种知识挖掘与决策支持的手段在信息化商业时代发挥着越来越重要的作用。商业智能系统的构建涉及到一系列的数据分析方法与知识发掘手段。如何运用这些知识发现手段去构建一个商业智能系统，从而为商业活动提供决策支持在互联网时代变得尤为重要。\n 电子商务、社交网站等互联网应用以及物联网、移动互联网的发展带来了数据的爆炸式增长，如何从海量数据中挖掘出商业价值成为企业能在商业竞争中脱颖而出的重要因素。随着数据的增长，低成本、高可用的需求成为衡量商业智能系统的一个标准。“大数据”对传统的商业智能系统提出了挑战。\n mapreduce编程模型的简单性和高性价比使得其适用于海量数据的并行处理。然而，mapreduce欠缺对多数据源、组件复用以及数据可视化的支持，这些缺点使用户在运用mapreduce构建商业智能系统时暴露出效率低下，重复开发等问题。\n 本文在调研了与商业智能相关的ETL过程、数学模型、数据挖掘、数据可视化等数据处理、知识发现、数据展示技术的基础上，结合mapreduce编程模型的特点，研究构建基于mapreduce商业智能系统的关键技术点。同时，结合OSGi框架完善的组件管理能力和面向模型驱动的开发方法学，研究了包括时间序列、经济学预测模型、数据挖掘算法并行化、代码生成技术、可视化技术等与构建基于mapreduce的商业智能系统相关的技术。\n 基于上述研究与分析，本文提出了一种基于mapreduce的商业智能系统的设计与实现。该设计思想为mapreduce作为大规模数据计算平台在构建商业智能系统、并行化数据挖掘以及数据可视化方面的不足提供了参考与弥补。同时，基于该方法实现了一个商业智能工具OnceBI。

关键词： mapreduce编程模型商业智能系统可视化技术组件重用数据挖掘算法

来源：评论

学校读者我要写书评

暂无评论

基于Hadoop平台的并行LDA学习方法研究与应用

基于Hadoop平台的并行LDA学习方法研究与应用

引用

作者：王灵江南京大学

学位级别：硕士

许多学习和数据挖掘算法性能的好坏在很大程度上取决于能否获得一个好的距离度量。本文研究的内容是关于马氏距离度量的学习。关于马氏距离度量的学习主要可以分为三大类：特征向量的方法、凸优化的方法以及全局监督的方法。特征向量的... 详细信息

许多学习和数据挖掘算法性能的好坏在很大程度上取决于能否获得一个好的距离度量。本文研究的内容是关于马氏距离度量的学习。关于马氏距离度量的学习主要可以分为三大类：特征向量的方法、凸优化的方法以及全局监督的方法。特征向量的方法已经被广泛地用于寻找基于输入数据集的有效的线性变换。常用的特征向量方法有：主要成分分析、线性判别式分析以及相关成分分析。然而在如今这个海量数据的时代,传统的单机距离度量学习方法往往无法满足各种学习方法对于其时间和空间上的要求。因此,如何高速并行地完成距离度量学习的任务是一个富有挑战性的问题,具有重要的理论和实用价值。目前,以mapreduce编程模型为基础的云计算平台为海量数据的距离度量学习提供了新的解决思路。本文提出并实现了一种基于Hadoop平台的并行距离度量学习的方法。该方法首先并行计算每个类别的平均向量,从而得到类别间的协方差矩阵；然后在此基础上,通过并行计算得到同一类别内的协方差矩阵；最后通过求特征向量的方法得到线性变换的矩阵。在不同大小的数据集上的实验结果表明,该方法大大提高了距离度量学习的效率,具有较好的加速比。本文还将并行化距离度量学习的结果应用于并行化k-近邻分类,在不同大小的数据集上的实验结果表明,距离度量学习对于提高k-近邻的分类准确率具有显著的效果。而且,并行化的k-近邻分类本身也大大提升了分类的效率,具有非常好的加速比。

关键词：距离度量学习 Hadoop平台并行 mapreduce编程模型 k-近邻分类

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：