检索结果-内蒙古大学图书馆

测绘通报 2016年第12期 74-76,89页

作者：刘云峰李发红曹广强国家测绘地理信息局第一航测遥感院陕西西安710054 地理国情监测国家测绘地理信息局工程技术研究中心陕西西安710054

针对传统影像管理方式不能进行T级及以上量级影像数据管理的难题,基于开源分布式云平台hadoop框架,研究设计了云计算环境下的遥感影像数据组织模型(RSC-DOM),利用镶嵌数据集技术、影像无缝集成技术等多种新技术,构建了海量影像数据库管... 详细信息

针对传统影像管理方式不能进行T级及以上量级影像数据管理的难题,基于开源分布式云平台hadoop框架,研究设计了云计算环境下的遥感影像数据组织模型(RSC-DOM),利用镶嵌数据集技术、影像无缝集成技术等多种新技术,构建了海量影像数据库管理系统,实现了海量影像数据的高效组织、管理及应用。

关键词： hadoop框架镶嵌数据集影像数据库

来源：评论

学校读者我要写书评

暂无评论

面向大数据挖掘的hadoop框架K均值聚类算法

引用

计算机工程与设计 2018年第12期39卷 3734-3738页

作者：李爽陈瑞瑞林楠郑州工业应用技术学院信息工程学院河南郑州451199 郑州大学软件与应用科技学院河南郑州451199

为提高大数据聚类效率,提出一种基于hadoop框架的K均值聚类算法。采用hadoop框架所用的MapReduce模型,将大数据划分成许多数据块。在Map阶段提出权重K均值聚类算法,对每一个数据块独立聚类,得到聚类中心和权重;在Reduce阶段提出加权融合... 详细信息

为提高大数据聚类效率,提出一种基于hadoop框架的K均值聚类算法。采用hadoop框架所用的MapReduce模型,将大数据划分成许多数据块。在Map阶段提出权重K均值聚类算法,对每一个数据块独立聚类,得到聚类中心和权重;在Reduce阶段提出加权融合K均值聚类算法,对Map阶段得到的聚类中心和权重进行融合,得到最终的聚类结果。在HIGGS数据集上进行聚类实验,实验结果表明,该算法在保持聚类准确率的前提下大幅提升了大数据聚类时K均值聚类算法的运算效率。

关键词：数据挖掘 K均值聚类 hadoop框架大数据 MapReduce模型

来源：评论

学校读者我要写书评

暂无评论

大数据环境下基于hadoop框架的改进Apriori挖掘算法（英文）

引用

机床与液压 2019年第6期47卷 98-103页

作者：曾毅周湘贞广西大学行健文理学院理工学部计算机与信息工程系南宁530005 中国社会科学院北京100028

针对hadoop框架下的用户行为大数据挖掘效率问题,提出了一种改进的关联规则Apriori挖掘算法。该算法首先实现了hadoop框架下的项集分类建模。然后通过传统关联规则Apriori算法的挖掘步骤分析,对候选项目集的生成方式进行了改进,并结合... 详细信息

针对hadoop框架下的用户行为大数据挖掘效率问题,提出了一种改进的关联规则Apriori挖掘算法。该算法首先实现了hadoop框架下的项集分类建模。然后通过传统关联规则Apriori算法的挖掘步骤分析,对候选项目集的生成方式进行了改进,并结合标志位信息实现无用事务去除,有效压缩了事务和项目的数量,从而缩短了任务处理时间。在具体实现过程中对改进Apriori算法流程进行了Map Reduce处理。仿真实验表明:相比于传统Apriori算法,改进后的Apriori挖掘算法具有更高的执行效率。

关键词：大数据 hadoop框架 Apriori 项集分类执行效率

来源：评论

学校读者我要写书评

暂无评论

基于hadoop框架的专题信息存储及多维分析系统构建研究

基于Hadoop框架的专题信息存储及多维分析系统构建研究

引用

作者：陈坤南京理工大学

学位级别：硕士

针对单纯依靠传统信息处理方式无法应对大数据时代专题信息资源数据量大、变化迅速的情况,提出基于hadoop平台的专题信息资源存储与多维分析系统构建设计本研究课题。本课题深入研究该系统的服务模式、服务对象、技术体系等方面,从系统... 详细信息

针对单纯依靠传统信息处理方式无法应对大数据时代专题信息资源数据量大、变化迅速的情况,提出基于hadoop平台的专题信息资源存储与多维分析系统构建设计本研究课题。本课题深入研究该系统的服务模式、服务对象、技术体系等方面,从系统构建与应用的角度分析构建系统涉及的关键技术,在此基础上设计并实现了基于hadoop框架的专题信息存储与多维分析系统。该系统可以存储不同来源的专题信息,帮助用户高效的分析专题信息资源,并展示分析结果。该系统可以有效的存储不同来源的专题信息资源,同时可以实现领域主题热点提取、热点演化分析等功能,从而进一步提高专题信息资源存储、处理和知识组织方式,进而帮助信息分析工作者提高信息分析和利用的效率。本文的主要工作主要体现在以下四个方面:（1）针对专题信息资源分析工作中面临的多种异构数据的存储、加工处理问题,本课题设计了不同来源的专题信息采取不同的获取策略。通过将获取到的数据按照一定的规则设计数据存储结构,并基于HBase数据库特有的列存储结构,对专题信息存储的实际存储过程进行实证研究。（2）针对专题信息资源中文本流数据存在的分析问题,设计了基于MapReduce方式的文本处理方案。主要通过MapReduce方式的分词处理,进行文本特征化提取、TF-IDF特征词加权、文本向量空间生成,从而为后续的聚类做好准备。在进行文本分词时,通过网络搜集领域专业术语扩充分词词典,提高分词质量。（3）针对专题信息资源的统计分布分析与主题分析需求,从专题信息资源宏观分析角度出发,利用LDA主题模型,对数据集进行了主题分析,并将分析结果以可视化方式进行展示。该分析可以帮助使用者发现领域研究重点及其转移等知识。（4）对上述功能需求进行融合,利用Java语言开发了基于hadoop框架的专题信息存储与多维分析系统。实证结果表明,从实际生产需求出发,基于hadoop框架设计并实现了专题信息存储与多维分析系统。该系统可以实现专题信息资源存储、资源加工和分析等功能,通过功能测试,验证了本系统的可用性,具有一定的实践意义。

关键词：专题信息资源系统构建主题分析 hadoop框架信息资源管理

来源：评论

学校读者我要写书评

暂无评论

基于hadoop框架网络用户浏览器使用行为分析系统研究及实现

基于Hadoop框架网络用户浏览器使用行为分析系统研究及实现

引用

作者：刘强东南大学

学位级别：硕士

互联网的快速发展和网络用户的急剧增加使得Web日志飞速增长。如何从海量Web日志数据中挖掘出有用的信息不仅成为了当前数据挖掘的热点，而且也是摆在多数企业面前的难题。传统基于单一节点的Web挖掘系统的存储和计算能力早已不能有效... 详细信息

互联网的快速发展和网络用户的急剧增加使得Web日志飞速增长。如何从海量Web日志数据中挖掘出有用的信息不仅成为了当前数据挖掘的热点，而且也是摆在多数企业面前的难题。传统基于单一节点的Web挖掘系统的存储和计算能力早已不能有效处理规模庞大的Web日志数据。因此采用分布式存储和计算已经成为当前Web日志挖掘发展的必然趋势。hadoop是当前使用较为广泛的分布式存储和计算框架。hadoop分布式计算框架的高可靠性、高扩展性、高容错性等优点使其成为当前海量数据处理的利器，在多个领域中得到了大规模应用。\n 本论文运用hadoop分布式架构和Web日志挖掘技术实现了一个网络用户浏览器使用行为分析系统。系统通过挖掘海量Web日志数据研究用户浏览器使用行为，从而为网站开发者提供支持，辅助其处理浏览器兼容问题。论文的主要工作和工作成果如下:\n (1)实现系统整体架构设计。论文从目前课题研究的现实问题出发，结合hadoop分布式架构和Web日志挖掘技术，按照Web日志数据挖掘的流程，设计了分布式数据存储、分布式数据分析和数据展示三大功能模块。\n (2)实现Web日志数据的收集和预处理。Web日志数据是系统处理分析的数据源。本文主要通过页面植入代码的技术实现Web日志数据的收集，同时完成Web日志的预处理，确保日志中记录的完整性。\n (3)实现了并行编程模型的开发。论文根据收集上来Web日志数据的特点，编写了Map和Reduce函数，使系统能聚焦到每条日志记录中浏览器信息并且识别出浏览器类型。\n (4)完成了hadoop分布式平台的搭建。在配置好硬件和软件环境的基础上，论文完成了hadoop环境配置和配置文件的编辑，成功搭建起了hadoop分布式平台。\n (5)完成了系统性能测试和计算结果分析应用。论文测试系统处理每M数据所用时间和集群加速两大性能指标，并且对系统测试得到的计算结果进行了分析应用，辅助网站开发者处理浏览器兼容问题。\n 系统性能测试结果表明论文中搭建起hadoop分布式系统能够有效处理海量Web日志数据，能够有效研究网络用户浏览器使用行为习惯。系统计算得到的结果具有较高的应用价值，能够为网站开发者处理浏览器兼容问题提供有力支持。

关键词： hadoop框架网络用户 Web日志挖掘浏览器使用行为分析系统

来源：评论

学校读者我要写书评

暂无评论

基于hadoop框架的电力业务深度搜索引擎的设计与实现

基于Hadoop框架的电力业务深度搜索引擎的设计与实现

引用

作者：徐明子中国科学院大学

学位级别：硕士

在互联网信息急剧增长的今天，搜索引擎已经成为人们从互联网上检索信息的重要工具。但是，随着行业细化不断深入，不同专业领域的搜索需求千差万别，通用的搜索引擎很难满足所有领域的搜索需求，因此一种在传统搜索引擎上成长的新的搜... 详细信息

在互联网信息急剧增长的今天，搜索引擎已经成为人们从互联网上检索信息的重要工具。但是，随着行业细化不断深入，不同专业领域的搜索需求千差万别，通用的搜索引擎很难满足所有领域的搜索需求，因此一种在传统搜索引擎上成长的新的搜索工具应运而生——主题搜索引擎。相比较通用搜索引擎来说，主题搜索引擎对行业信息具有更好的覆盖率和更高的准确性，能够完善的覆盖本专业的相关信息。同时，海量的数据信息也使得分布式计算成为必然，虽然造成系统更大的开销和设计的复杂性，但是它带来的高效信息采集和检索效率也是不容置疑的。其中，hadoop框架是目前比较流行的一个分布式计算框架。\n 本文结合现有的主题搜索引擎技术，对主题搜索引擎技术做了进一步的深入研究，设计并实现了一个基于hadoop框架的面向电力行业的主题搜索引擎。本系统主要由抓取模块、索引模块和检索模块构成。\n 抓取模块即主题爬虫的实现部分，主要对传统的空间向量模型进行改进形成自适应的空间向量模型，结合网页内容和链接两个方面进行网页相关度计算;又针对主题网络爬虫爬行中出现的页面捕捉不全问题还提出了一种改进的手动与遗传因子相结合的网页搜索策略。\n 索引模块对Lucene全文检索系统中索引模块进行了改进，提出了一种面向电网领域的基于扩展词典的混合索引技术。同时，对索引性能从索引压缩和内存缓冲两个方面进行了优化，并最终在Lucene上进行了实现。\n 最后，主要阐述了检索模块中设计基于Lucene的查询器的关键技术。

关键词： hadoop框架主题搜索引擎空间向量模型电力业务

来源：评论

学校读者我要写书评

暂无评论

pNFS支持hadoop框架的研究与实现

pNFS支持Hadoop框架的研究与实现

引用

作者：何文婷中国科学院大学

学位级别：硕士

近年来，数据呈现爆炸式增长，我们已全面进入大数据时代。大数据技术也应运而生，其中的典型代表为Apache的hadoop开源项目，这对传统文件系统带来了一定的挑战，包括BWFS、GPFS等。当前各主流文件系统如Lustre、PVFS、Ceph、GPFS等都... 详细信息

近年来，数据呈现爆炸式增长，我们已全面进入大数据时代。大数据技术也应运而生，其中的典型代表为Apache的hadoop开源项目，这对传统文件系统带来了一定的挑战，包括BWFS、GPFS等。当前各主流文件系统如Lustre、PVFS、Ceph、GPFS等都已经实现了对hadoop的原生支持，这样既可满足传统应用的存储需求也可满足对大数据并行处理应用的新需求。但是，由于hadoop默认存储系统HDFS与BWFS数据不兼容，若执行大数据并行处理应用，BWFS上的数据需先拷贝至HDFS，此时将产生拷贝时间开销。针对该问题，本文以pNFS具有与BWFS相同的结构，且pNFS的搭建环境更易于满足以及pNFS是下一代标准网络文件系统作为契机，在pNFS上实现了对hadoop框架的支持。本文取得的主要成果如下:\n pNFS支持hadoop框架的设计与实现:在hadoop的HDFS API及pNFS client之间添加一层“pNFS shim layer”。实现了hadoop提供的22个HDFS API，并将请求转发给pNFS client。这使得pNFS既支持传统应用，又能支持大数据并行处理新应用。测试结果表明，pNFS支持hadoop取得了与HDFS相当的性能。\n 针对写密集型应用，在“pNFS shim layer”中添加写缓存模块:提升了整体系统写性能。测试结果表明:支持hadoop执行写密集型的测试用例时，添加了写缓存模块的pNFS比未添加写缓存的pNFS性能提升了3至6倍，并且相较HDFS的性能提升了45％～54％，达到了预期效果。\n 针对读密集型应用，在“pNFS shim layer”中设计并实现了节点级数据布局感知机制:依据hadoop的计算与存储较近的原则，实现了HDFS API中的getFileBlockLocations接口。通过在pNFS内核模块中添加新的功能获得数据在设备级的布局信息，再通过iSCSI服务获得设备与节点的对应关系，从而建立映射得到文件数据在节点级的布局信息。最终使得hadoop的计算任务尽可能部署到离处理数据较近的节点，使得数据本地化。测试结果表明该机制将map task的数据读取本地率从20％～33％提升至97％以上，此时的hadoop性能相较于HDFS支持的hadoop提升了60％～68％，比未实现数据布局感知机制的pNFS支持的hadoop提升了28％以上，达到了预期效果。

关键词： hadoop框架大数据技术并行处理 pNFS支持写缓存模块

来源：评论

学校读者我要写书评

暂无评论

基于hadoop框架的某商业银行数据下载系统设计与实现

基于Hadoop框架的某商业银行数据下载系统设计与实现

引用

作者：赵成文中国科学院大学

学位级别：硕士

移动互联网时代快速发展，技术的更新迭代，带来新发展趋势和风口。在当今各行业、各领域，企业信息化建设完备程度和数据挖掘的深度越来越影响企业的发展和生存。数据下载系统的设计和实践，就是在此背景下产生。某商业银行借助自身大... 详细信息

移动互联网时代快速发展，技术的更新迭代，带来新发展趋势和风口。在当今各行业、各领域，企业信息化建设完备程度和数据挖掘的深度越来越影响企业的发展和生存。数据下载系统的设计和实践，就是在此背景下产生。某商业银行借助自身大数据的技术发展趋势，有效管理数据，把数据作为一个生态级的平台企业最直接的沉淀，提升企业综合竞争的实力。　　本论文主要针对某商业银行提出设计并实现一种基于hadoop分布式框架的数据存储，拆分和下载的数据应用系统。作者完成的主要工作如下:　　(1)调研和研究hadoop生态圈各相关组件，结合各组件的特性和特点，考虑在数据下载系统中应用与实现，提高数据处理的效率和时效性，缩短数据的延迟。　　(2)hadoop分布式软件，硬件环境的搭建部署上架，底层参数的调优。在此过程中，研究了hadoop三份数据冗余机制，机架感知等策略，提升集群的安全稳定运行和集群的高可用性。　　(3)大数据的导入导出、数据加密、数据传输的过程和数据加载单元化，模块化应用探索，提高系统的耦合度和关联度。对在大数据场景下的的数据资源管理，进行了相关研究和实践。　　(4)提出了一种面对商业银行数据存储，加工，拆分和下载的设计实现方案，在数据、功能等需求的基础上，构建一个多元化的数据下载系统存储架构，设计数据模型，实现系统的功能。　　论文的研究工作将实现某商业银行基于开放的hadoop分布式处理技术的数据下载系统的设计与应用，依靠hadoop技术提供的HDFS、MapReduce、Hive等技术组件系统的解决存储处理效率低，代价高的问题。通过本论文中系统实施，对于某商业银行大数据技术应用落地实施，具有一定的示范作用，很好的满足了各分支机构对于客户营销、产品设计、绩效考核、精细化管理等方面数据的需要。

关键词：商业银行数据下载系统功能模块 hadoop框架

来源：评论

学校读者我要写书评

暂无评论

基于hadoop框架的海量数据运营系统研究

引用

自动化技术与应用 2020年第3期39卷 178-181页

作者：陈彬中国南方电网有限责任公司广东广州510000

本文基于hadoop框架设计了海量数据运营系统。首先简要介绍hadoop框架,其次设计系统整体架构,再次详细分析系统关键技术,然后详细设计数据流程、功能模块、数据库结构,最后进行系统测试与实现。结果表明,此系统可兼顾潜在与既有电力客户... 详细信息

本文基于hadoop框架设计了海量数据运营系统。首先简要介绍hadoop框架,其次设计系统整体架构,再次详细分析系统关键技术,然后详细设计数据流程、功能模块、数据库结构,最后进行系统测试与实现。结果表明,此系统可兼顾潜在与既有电力客户,实时更新动态数据,且可通过大数据思维充分挖掘企业数据资产价值,为企业作出正确决策奠定坚实基础,以此推动企业实现长远健康发展。

关键词： hadoop框架海量数据数据运营

来源：评论

学校读者我要写书评

暂无评论

基于hadoop框架的酒店用户数据分析系统的设计与实现

引用

现代经济信息 2019年第23期 297-298页

作者：时合生曾威平顶山学院信息工程学院

目前酒店行业发展迅速,每个酒店都会有自己的数据群,大多数酒店使用的只是管理系统,针对数据并没有做太多的处理,数据浪费较为严重。在基于大数据的数据业务场景下选用hadoop分布式框架的生态圈组件,其包括sqoop(数据同步功能)、hdfs(... 详细信息

目前酒店行业发展迅速,每个酒店都会有自己的数据群,大多数酒店使用的只是管理系统,针对数据并没有做太多的处理,数据浪费较为严重。在基于大数据的数据业务场景下选用hadoop分布式框架的生态圈组件,其包括sqoop(数据同步功能)、hdfs(分布式海量文件存储功能)、Mapreduce(分布式计算框架)、Hive(数据仓库)、flume(数据采集)以及Spark(流式处理计算工具)等apach下的开源组件,能对酒店数据进行有效分析利用。

关键词：大数据 hadoop框架分布式 Mapreduce Hive Spark

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：