检索结果-内蒙古大学图书馆

作者：陈剑飞北京大学

学位级别：硕士

文本是存储和交换信息的最自然的方式，但是，随着信息时代的高速发展，文本的数量呈指数级增长，因此，如何迅速的从海量文本中获取信息就成为了一个具有挑战性的问题。\n 文本分类技术是一种重要的文本分析技术，但是，文本通常处... 详细信息

文本是存储和交换信息的最自然的方式，但是，随着信息时代的高速发展，文本的数量呈指数级增长，因此，如何迅速的从海量文本中获取信息就成为了一个具有挑战性的问题。\n 文本分类技术是一种重要的文本分析技术，但是，文本通常处于高维度空间，对大规模文本进行分类需要耗费大量的计算资源和计算时间。云计算是分布式计算技术的一种，云计算能够将大规模的数据和计算分布到大量PC集群中进行并行处理，从而极大地缩短处理时间，mapreduce是由Google提出的基于云计算平台的用于处理大规模数据的框架模型，因此，基于mapreduce计算模型进行大规模文本分类，具有非常重要的研究意义和应用前景。\n 本文主要研究基于mapreduce计算模型的大规模文本分类方法，具体工作有以下几点:\n 1、本文研究了目前主要的文本分类方法及对这些方法的一些并行化实现，提出了基于mapreduce计算模型的大规模文本分类方法，该方法能够完成文本从预处理到分类的整个过程。\n 2、文本分类预处理包括一系列步骤，本文对这系列过程进行调研后，分析了其中的特征提取和权重计算两个步骤的各种方法和其详细工作流程，设计并实现了基于mapreduce计算模型的卡方检验特征提取法和TF-IDF权重计算法。\n 3、文本分类有很多算法，本文进行调研之后选择了K近邻算法和SVM算法作为研究对象，本文详细描述了这两种算法流程，设计并实现了基于mapreduce计算模型的K近邻分类算法和基于置信区间的SVM分类算法。\n 4、针对本文涉及的基于mapreduce计算模型的并行分类方法，本文最后进行了实验验证，比较了程序在mapreduce集群上并行化运行和在单机上串行化运行时的性能以及并行方法在不同节点的集群上运行时的加速比，最后本文对实验结果进行了分析和总结。

关键词：文本分类文本存储 mapreduce计算模型支持向量机 K近邻分类置信区间

来源：评论

学校读者我要写书评

暂无评论

GOP-MRPGA:基于mapreduce大数据计算模型的遗传算子前置并行遗传算法

引用

河南工学院学报 2020年第5期28卷 7-10,21页

作者：任刚狄文辉郜广兰王鲜芳吴长茂武文佳赵开新河南工学院计算机科学与技术学院河南新乡453003 中国科学院软件研究所并行软件与计算科学实验室北京100190 新乡市制造业物联网应用工程技术研究中心河南新乡453003

提出了一种新的基于mapreduce大数据计算模型的PGA,该算法将遗传算子计算从Reduce阶段提前到Map阶段,从而获得了更好的并行度。通过四组实验验证了提出算法的性能,实验结果表明,提出的算法具有较高的计算效率。

关键词： mapreduce计算模型并行遗传算法遗传算子前置

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的视频爬虫系统研究

引用

华中科技大学学报（自然科学版） 2015年第5期43卷 129-132页

作者：孔涛曹丙章邱荷花中国船舶重工集团公司第709研究所湖北武汉430074 华中科技大学计算机科学与技术学院湖北武汉430074

针对当前网络中视频媒体数量大、更新快、内容多、下载难,以及基于单机的视频网络爬虫系统中的处理速度慢、并发度低和下载速度慢等问题,提出了基于Hadoop框架的视频爬虫系统,为视频爬取提供了高并发度的处理和爬取速度.通过mapreduce... 详细信息

针对当前网络中视频媒体数量大、更新快、内容多、下载难,以及基于单机的视频网络爬虫系统中的处理速度慢、并发度低和下载速度慢等问题,提出了基于Hadoop框架的视频爬虫系统,为视频爬取提供了高并发度的处理和爬取速度.通过mapreduce计算模型实现网页抓取、分析、去重及下载等计算任务,Hadoop分布式文件系统(HDFS)存储各阶段计算任务的计算结果,运用多处备份机制,使得在某个结点退出时转移任务集,不影响整个系统的稳定性和有效性.实验结果表明完全分布式基于Hadoop的视频爬虫系统无论在单位时间内的视频下载速率还是爬取网页个数都明显高于未基于Hadoop的和伪分布式的视频爬虫系统.

关键词：视频爬虫分布式 Hadoop框架 mapreduce计算模型 Hadoop分布式文件系统

来源：评论

学校读者我要写书评

暂无评论

面向mapreduce计算模式的中间数据通信优化

引用

计算机应用 2018年第4期38卷 1078-1083页

作者：曹云鹏王海峰临沂大学信息科学与工程学院山东临沂276002 山东省网络环境智能计算技术重点实验室临沂大学研究所单位问题已经过作者核实山东临沂276002

针对mapreduce计算模式在Map阶段结束后会产生海量中间数据,导致存在大量跨越机架交换机的数据通信问题,提出一种优化Map密集型作业的中间数据通信优化方法。首先,提取mapreduce计算作业的运行前调度信息的特征并且量化数据通信活跃度;... 详细信息

针对mapreduce计算模式在Map阶段结束后会产生海量中间数据,导致存在大量跨越机架交换机的数据通信问题,提出一种优化Map密集型作业的中间数据通信优化方法。首先,提取mapreduce计算作业的运行前调度信息的特征并且量化数据通信活跃度;然后,采用朴素贝叶斯分类模型实现分类预测,将历史作业的运行数据作为样本来训练分类模型;最后,根据作业分类预测结果把通信活跃的作业集中映射到同一机架中,通过提高通信局部性来优化性能瓶颈。实验结果表明,所提方案对Shuffle子过程稠密的作业优化效果明显,能够提高4%~5%的计算性能;此外,在多用户运行情况下能降低4.1%中间数据通信延迟。所提方法可有效降低大数据计算过程中的通信延迟,提高异构集群的计算性能。

关键词： mapreduce计算模型大数据处理通信优化中间数据机器学习

来源：评论

学校读者我要写书评

暂无评论

基于N-Gram语言模型的并行自适应新闻话题追踪算法

引用

山东大学学报（工学版） 2018年第6期48卷 37-43页

作者：屈庆涛刘其成牟春晓烟台大学计算机与控制工程学院山东烟台264005

针对传统的向量空间模型及一元语法模型表示话题的文本特征时忽略词语之间语序关系的问题,提出一种基于NGram语言模型的并行自适应新闻话题追踪算法。使用N-Gram语言模型,利用新闻报道中词语间的语序关系进行文本表示,根据贝叶斯分类算... 详细信息

针对传统的向量空间模型及一元语法模型表示话题的文本特征时忽略词语之间语序关系的问题,提出一种基于NGram语言模型的并行自适应新闻话题追踪算法。使用N-Gram语言模型,利用新闻报道中词语间的语序关系进行文本表示,根据贝叶斯分类算法进行话题追踪,利用最小特征平均可信度阈值更新策略,采用测试新闻报道更新训练集,完善话题模型,并在mapreduce分布式计算模型上予以实现。试验表明,该算法不仅有效地提高了话题追踪效果,而且具有良好的并行加速比和可扩展性。

关键词：话题跟踪 N-Gram语言模型朴素贝叶斯分类 mapreduce计算模型

来源：评论

学校读者我要写书评

暂无评论

分布式k-means聚类算法的改进

引用

广西大学学报（自然科学版） 2014年第5期39卷 1060-1065页

作者：宋玲戚云枫齐东阳广西大学计算机与电子信息学院广西南宁530004

经典的分布式k-means聚类算法随机选取初始聚类中心,进行多次的迭代,容易使得聚类效率低,网络通信量大,而且聚类结果不稳定。针对这些问题,提出一种改进的分布式k-means聚类算法。该算法通过划分数据集,计算属性最密集的k个数据块作为... 详细信息

经典的分布式k-means聚类算法随机选取初始聚类中心,进行多次的迭代,容易使得聚类效率低,网络通信量大,而且聚类结果不稳定。针对这些问题,提出一种改进的分布式k-means聚类算法。该算法通过划分数据集,计算属性最密集的k个数据块作为聚类中心,以确保聚类中心的代表性,进而减少算法的迭代计算次数,提高聚类效率。通过在Hadoop分布式平台上进行实验,结果表明改进算法能减少迭代次数和收敛时间。

关键词： k-means聚类分布式算法 mapreduce计算模型聚类中心

来源：评论

学校读者我要写书评

暂无评论

云平台下图数据处理技术

引用

计算机应用 2015年第1期35卷 43-47页

作者：刘超唐郑望姚宏胡成玉梁庆中中国地质大学(武汉)计算机学院武汉430074

针对Hadoop云平台下mapreduce计算模型在处理图数据时效率低下的问题,提出了一种类似谷歌Pregel的图数据处理计算框架——My BSP。首先,分析了mapreduce的运行机制及不足之处;其次,阐述了My BSP框架的结构、工作流程及主要接口;最后,在... 详细信息

针对Hadoop云平台下mapreduce计算模型在处理图数据时效率低下的问题,提出了一种类似谷歌Pregel的图数据处理计算框架——My BSP。首先,分析了mapreduce的运行机制及不足之处;其次,阐述了My BSP框架的结构、工作流程及主要接口;最后,在分析PageRank图处理算法原理的基础上,设计并实现了基于My BSP框架的PageRank算法。实验结果表明,基于My BSP框架的图数据处理算法与基于mapreduce的算法相比,迭代处理的性能提升了1.9~3倍。My BSP算法的执行时间减少了67%,能够满足图数据高效处理的应用前景。

关键词：图数据处理云计算 mapreduce计算模型批量同步并行模型 PageRank算法

来源：评论

学校读者我要写书评

暂无评论

云环境下对数据适应性查询方法的研究

云环境下对数据适应性查询方法的研究

引用

作者：张林鹏云南大学

学位级别：硕士

当今时代，是信息化高速发展的时代，互联网进入了千家万户。随着电子信息化的应用范围越来越广泛，由此带来的是数据量的爆发式增长。传统的数据仓库已经达到了PB级，并且还会继续扩大。eBay，一个很流行的网络拍卖和购物网站，因为非... 详细信息

当今时代，是信息化高速发展的时代，互联网进入了千家万户。随着电子信息化的应用范围越来越广泛，由此带来的是数据量的爆发式增长。传统的数据仓库已经达到了PB级，并且还会继续扩大。eBay，一个很流行的网络拍卖和购物网站，因为非常频繁的业务往来和可观的购物规模，数据存储量已经达到了6.5PB，这构成了一个巨大的数据仓库。Facebook，它是一个非常时髦流行的社交网络，由于注册的用户规模相当庞大，从而使得数据量飞速增长，已经达到了2.5PB的存储量，并且以每天15TB的数据量增长。所以如何正确高效地对如此庞大的数据做出高效的管理，以及对如此规模庞大的数据进行高效的查询已经成为极其关键的问题[1]。\n 本文首先详细介绍了适应性查询的详细研究背景、国内外研究现状和所要开展的研究的核心内容所在。通过对云计算发展现状的分析，以及对开源平台Hadoop系统的研究学习，理解了Hadoop构架的两大核心部件mapreduce计算模型以及HDFS的工作机制，掌握了Hbase数据库的使用以及Hive数据仓库工具对数据执行查询机制的原理，继而从实践角度把对大规模数据的高效管理以及查询调度工作迁移到云平台上来。然后通过对并行数据库管理系统和mapreduce编程模型对数据查询性能的研究及对比，提出了云环境下对数据的适应性查询系统构架，并进一步提出了基于查询时间花费的模型公式，最后将提出的适应性查询系统构架部署在五“台独”立的处理机节点上，通过校内局域网实现处理机节点彼此之间的连通。对于许多查询请求，这种适应性查询系统构架都能够从直觉上基于所需查询的时间花费模型，很灵活地选择在使用并行数据库管理系统或者使用mapreduce计算模型这两种查询方式之间切换，最后从实践角度通过改变影响查询时间花费的参数变量来分析对比两种查询机制的性能特点，通过对实验结果数据进行分析对比并将实验结果数据代入所提出的查询时间花费模型公式进行验证。具体实验结果得出了这种适应性查询方式实现了最低可能的查询时间花费，同时最大可能地考虑了容错机制。

关键词： mapreduce计算模型并行数据库管理系统 Hadoop开源平台数据适应性查询云环境

来源：评论

学校读者我要写书评

暂无评论

代码缺陷检测云平台作业调度的设计与实现

代码缺陷检测云平台作业调度的设计与实现

引用

作者：吴鑫北京邮电大学

学位级别：硕士

在软件研发的过程中,针对代码的缺陷检测为软件的质量及可靠性提供了重要保证。随着云计算技术日益普及,将代码缺陷检测服务,移植到云平台上,能够充分利用服务器集群的计算资源,高效、快速地为目标用户提供代码缺陷检测的服务。DTS代码... 详细信息

在软件研发的过程中,针对代码的缺陷检测为软件的质量及可靠性提供了重要保证。随着云计算技术日益普及,将代码缺陷检测服务,移植到云平台上,能够充分利用服务器集群的计算资源,高效、快速地为目标用户提供代码缺陷检测的服务。DTS代码缺陷检测云平台正是基于这样的理念应运而生。在当前的版本中,其基于虚拟化技术和Hadoop分布式系统基础架构部署,在每台服务器上独立运行代码缺陷检测程序。因为每台服务器仅仅只是测试一个完整的待测工程,就运行方式而言,只是单机模式的延续,未能充分利用云计算技术,发挥出服务器集群强大的计算能力。由于各个测试工程的文件数量和大小不一致,这种运行方式会造成整个集群中部分的服务器处于闲置状态,导致服务器集群的负载不均衡。针对该问题,本文提出了新的代码缺陷检测云平台作业调度策略。该策略将用户上传的待测工程拆包后,将源文件视作最小的测试单元,每份源文件作为一个测试任务。通过作业调度器运行作业调度算法选取测试任务,选中的测试任务被分发到服务器节点上完成代码缺陷检测。本文通过Hadoop的mapreduce计算模型,使得同一个工程存储在不同服务器节点上的测试结果归并,生成该测试工程完整的最终测试结果。DTS代码缺陷检测云平台,是以Struts2框架、Spring框架为基础,按照Web应用程序的组织方式,采用MVC设计模式编码实现的。通过对经典的作业调度算法和分布式作业调度算法的比较分析,归纳出适合于代码缺陷检测服务的作业调度算法,将其作为作业调度器的任务分发策略。作者通过相关实验来验证该策略在DTS代码缺陷检测云平台上的应用。实验结果表明本文提出的作业调度策略对DTS云平台提供的代码缺陷检测服务的性能提升具有明显的作用。

关键词：代码缺陷检测作业调度 mapreduce计算模型分布式虚拟化

来源：评论

学校读者我要写书评

暂无评论

海量短文本时空关键字查询算法研究

海量短文本时空关键字查询算法研究

引用

作者：彭媛中南民族大学

学位级别：硕士

随着移动社交网络和基于位置服务的发展,时间信息、空间位置信息与短文本信息间的联系日益紧密,时空信息的综合处理与分析有着重要的应用需求。智能手机和应用软件日益繁多导致其用户数量不断增加,带有时间、空间位置属性的短文本数据... 详细信息

随着移动社交网络和基于位置服务的发展,时间信息、空间位置信息与短文本信息间的联系日益紧密,时空信息的综合处理与分析有着重要的应用需求。智能手机和应用软件日益繁多导致其用户数量不断增加,带有时间、空间位置属性的短文本数据也呈现爆炸式增长。如何从海量数据中高效查找出满足多样性需求的信息问题受到越来越多专家学者的关注,海量短文本时空关键字查询问题成为研究热点,对该问题的研究具有重要的意义和应用价值。经典短文本空间关键字查询算法忽略时间维度的重要性,并在大规模数据下算法的执行效果不理想,不能满足用户查询的性能需求;另一方面,已有的查询算法大多不适用于社交网络应用环境,由于忽略用户间的社交关系,导致其查询结果质量较差。针对以上问题,在短文本空间关键字查询问题基础上进行改进和创新,主要研究内容如下。(1)根据用户实际需求,对经典短文本空间关键字查询进行了时间维度的扩展,构建了短文本时空关键字查询模型,将时间、空间和短文本信息因素相结合。同时,提高了短文本时空关键字查询在海量数据环境下的效率,设计了基于mapreduce模型的海量短文本时空关键字查询框架。查询框架流程包括:1)利用滑动窗口模型在数据流环境下建立多版本时空索引(MVSTR-tree,MultiVersions Spatio-temporal R-tree);2)在构建的MVSTR-tree索引结构基础上,实现索引的更新维护;3)在MVSTR-tree索引基础上提出了海量短文本Top-k时空关键字查询算法,利用mapreduce计算模型并行查询出距离用户查询时间、空间位置最接近且短文本内容最相似的Top-k个短文本数据对象。(2)针对社交网络环境的应用需求,提出了面向社交网络应用的海量短文本时空关键字查询算法。将用户间的社交关系作用于短文本时空关键字查询中,为用户返回k个文本相关性较高且时间、空间和社交相关性三者之和最高的短文本数据对象。为了实现高效查询的目标,在算法中提出了适合社交网络应用的查询索引(SIR-tree,Social IR-tree)和剪枝策略,并且将海量短文本时空关键字查询框架与SIR-tree索引结合并行查询出所需信息。在不同的数据集上对提出的算法进行实验对比,实验结果表明海量短文本Top-k时空关键字查询方法和面向社交网络应用的海量短文本时空关键字查询算法具有更好的适用性和高效性。

关键词：海量短文本时空关键字查询时空索引 mapreduce计算模型社交网络

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：