大数据实时计算与可视化框架设计与实现

作     者：周雷 

作者单位：中国科学院大学 

学位级别：硕士

导师姓名：于建军

授予年度：2016年

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：大数据 实时计算 可视化框架 软件设计 

摘      要：为优化现有系统在大数据环境下面临的处理不及时和可视化效果不佳的问题，本文实现了海量实时多源异构数据流提取、汇聚与存储机制，在此基础上，针对大数据实时计算应用和基于实时数据驱动的可视化应用设计了一套通用的大数据实时计算和可视化框架，最后通过网络安全及交通两个行业应用，构建实时数据源，研究并实现大数据实时计算与可视化框架。本文主要工作和贡献如下:\n 1.提出了大数据环境下的海量多源异构数据的汇聚与存储管理机制\n 本文探讨了两种分布式实时数据采集工具，用于海量多源异构数据的汇聚，实现了异构多源实时数据的接入。针对不同来源的数据流，如Syslog、自定义数据流等，设计不同的数据流接入方法，根据提取时间形成数据流的时间队列。研究建立面向实时数据缓存和分布式存储系统，满足各类历史数据的分类存储管理。\n 2.基于大数据实时计算与可视化框架的大数据实时计算设计\n 为实现面向实时计算的大数据处理，本文设计了实时大数据分布式计算机制。对汇聚的各类数据进行统一格式化预处理，并对统一格式化预处理的数据进行实时提取以及分类存储。并通过缓存机制对接收的数据流进行实时数据计算和缓存，方便后续可视化应用。\n 3.基于实时数据驱动的可视化方法设计与实现\n 通过数据服务接口DataService接收实时传输的数据，实现海量多维数据以图形图像的形式动态展现。运用Jquery，Bootstrap等前端框架进行页面的实现，对于数据动态展示部分，如图表，地图等利用D3，Echarts，Arcgis以及百度地图api等工具来进行实现。在此基础上，对不同可视化工具进行比较和优化，满足海量实时数据的高效可视化展示。\n 4.面向实时计算的可视化示范应用\n 本文通过搭建的通用大数据实时计算与可视化框架，实现了安全领域以及交通领域的两个典型业务需求，包括网络安全动态攻击监控可视化，车辆实时位置监控。