大数据背景下的关键业务数据提取与展示技术研究

作     者：任修仕 

作者单位：昆明理工大学 

学位级别：硕士

导师姓名：邵剑飞

授予年度：2016年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

主      题：Hadoop Hive AngularJs Canopy 数据展示 

摘      要：随着网络硬件水平的快速发展,世界上每时每刻产生的各类数据信息可以得到更完整的保存。如何把某个领域中的数据采集起来并且形成时域空间的图像展示,让我们更好的读出其中的含义,成为了大数据时代的一个热门研究方向,也是为以后更大的海量数据提供重要借鉴意义。Hadoop在海量数据计算中凸显出来,它是基于云计算基础框架而出现的分布式云计算平台,对于我们传统意义的数据库有着重要意义。几乎现在所有的大型程序所拥有的无论是基本数据还是特定信息都是PB级别的,怎么样让这些数据更好的服务于我们人类,这就是Hadoop的职责所在。本课题是在海量数据背景下进行的,文中首先介绍了基于海量数据的研究背景和研究意义,大体介绍了国内外研究现状；在提取数据的时候,用原来的分库分表遇到瓶颈,我们引入了Hadoop中的Hive数据仓库以及改进后Canopy算法的技术来解决,最后我们用招聘来举例,最后分析出改进Canopy算法后的性能优势。在此基础上,详细介绍了数据展示平台的技术构架,包括AngularJs、D3等的基本工作原理和基本结构。从维度的确定到前后台的开发都做了详尽的描述,然后使用了列式存储做数据的保存,最后构建出自动更新工具。本文把Hadoop的伪分布模式下的模拟仿真情况下都进行了详细的描述,最终平台搭建成功。而本文在最后对数据展示平台的模块进行用例测试,平台的性能则用LoadRunner进行压力测试,测试结果符合预期。