分布式事件流管理平台关键技术研究

作     者：郑鑫福 

作者单位：东南大学 

学位级别：硕士

导师姓名：徐立臻

授予年度：2012年

学科分类：08[工学] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：分布式事件流管理平台 通信框架 内存管理 开源事件流引擎Esper 

摘      要：随着网络规模的增大和通信技术的发展，网络安全、金融和交通等领域的数据形式已经演变成多维、连续、快速、随时间变化的流式数据，而且对数据的访问的实时性要求不断提高。传统的关系数据库系统已经难以适应这种流式数据的管理需求，这些领域的很多应用已经开始利用事件流技术实现其业务数据的处理及分析，很多数据流管理系统和事件流引擎也不断涌现。本文深入研究了分布式事件流管理中的关键技术，自主设计开发了一个分布式事件流管理平台SwiftEsper，论文的主要工作包括：\n 1)提出了基于开源事件流引擎Esper的分布式事件流管理平台SwiftEsper的总体设计方案，对事件流进行高效稳定的管理。\n 2)提出了一种基于组件技术的通信框架，解决了SwiftEsper在复杂网络环境中的高性能数据传输问题。该框架可以灵活地集成Java NIO、Corba IIOP等多种通信组件以应对不同的通信环境，保证SwiftEsper平台高效灵活的数据传输和事件流处理。\n 3)研究了突发事件流超过系统负载时导致服务质量下降的问题，提出了一种自适应的内存管理框架，针对SwiftEsper的特点对缓冲区事件流调度策略的选择、数据清洗标准的制定、卸载算法的改进等关键问题进行了分析和研究。\n 4)在上述研究的基础上，设计并实现了SwiftEsper原型系统，并针对本文提出的通信框架和内存管理框架进行了必要的测试和分析，验证了本文提出的技术方案的合理性和可行性。