基于Agent的日志分析系统的设计与实现

作     者：刘国忠 

作者单位：山西大学 

学位级别：硕士

导师姓名：马千里

授予年度：2016年

学科分类：0839[工学-网络空间安全] 08[工学] 0835[工学-软件工程] 081201[工学-计算机系统结构] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：信息安全 Agent 日志分析系统 

摘      要：随着互联网技术的深入发展,各行各业普遍采用信息系统办公,保障系统高效、安全、稳定地运行以及保护相关信息的安全成为运营单位工作不可或缺的一部分。操作系统以及各类应用软件为了满足安全性需求,配置并启用策略,系统将异常情况和用户的行为以日志的形式记录,因此挖掘这些记录具有重要意义。此外,在大数据时代,日志数据每天大量生成,人工分析远远不能满足运维需求,及时处理海量的日志数据就显得十分必要。然而一些单位安全管理人员存在安全意识差和技术能力薄弱等情况,管理员渴望能有一款简单易用、高效率的系统为其提供必要的技术支持。鉴于上述两种情况,构建一款能够近乎实时处理日志数据的平台是解决目前企业信息系统运维需求的关键所在。本文完成的工作主要包括:1)分析当今运营单位安全管理普遍存在的问题,确定用户的具体需求;2)研究日志分析技术以及主流日志分析产品的缺陷,设计基于Agent的日志分析系统架构,采用Agent采集、Elastic Search存储分布式的日志数据,设计中间日志格式解决日志异构问题;3)建立常见安全事件的特征库进行关联分析,挖掘日志中隐藏的安全事件和系统脆弱点,并生成安全告警通知管理员。通过使用Elastic Search作为代理实现了基于Agent的日志分析系统,系统自动采集、分析日志数据,并生成告警通知管理员,管理员可以直观掌握系统的运行情况以及存在的安全威胁,有效规避系统漏洞,保障监测对象的安全,满足网络运维需求。