随着大数据、云计算、人工智能技术的飞速发展,互联网数据中心(Internet Data Center,IDC)的规模也随之爆炸式增长,作为数据中心安全运行保障的运维管理就显得至关重要。早期的手工运维在业务快速增长、人力成本高的时代难以维系,自动...
详细信息
随着大数据、云计算、人工智能技术的飞速发展,互联网数据中心(Internet Data Center,IDC)的规模也随之爆炸式增长,作为数据中心安全运行保障的运维管理就显得至关重要。早期的手工运维在业务快速增长、人力成本高的时代难以维系,自动化运维取代人去执行简单重复的工作,提高了运维效率,但随着业务服务复杂多样,基于规则指导的自动化运维日显不足,系统复杂度不断升级、系统架构不断演化,现有的技术使运维部门很难准确、迅速地把控系统架构与系统变更,无法自动感知系统实际变更导致的配置管理数据库(Configuration Management Database,CMDB)中的数据失效问题。然而数据中心每时每刻产生大量的服务器日志数据,如果可以基于这些数据有效地分析出业务系统的组织结构,实现业务系统架构自动化梳理,就能改变传统手工运维的不足,提高运维效率和系统架构图信息时效性。本文基于数据中心采集到的服务器日志数据进行分析,服务器在业务驱动下相互之间会建立TCP连接进行通信协作,因此TCP网络可以反映服务器之间的业务功能逻辑关系。通常业务系统中的服务器以集群的形式对外提供功能服务,并且不同服务器集群在业务处理流程中存在先后顺序之别,因此,复杂业务系统的组织结构是一种带有层次式的网络结构。所以本文将这种带层次式网络结构的复杂业务系统组织结构发现问题分解成服务器集群发现与服务器集群层次发现两个子问题,提出一种基于服务器日志数据的集群发现和层次发现的方法(Cluster Discovery and Hierarchy Discovery,CD-HD)。CD-HD方法基于大数据平台采集的服务器日志数据,首先利用服务器属性和已知的部分服务器的类别标签信息,进行基于服务器属性判断服务器是否属于相同类别的迭代分类器训练,分类器用于判断所有没有类别标签信息的服务器间关系;然后在服务器TCP网络上,计算服务器通信行为模式的相似性,结合分类器对服务器间关系的判断,构建服务器相似度网络,在该相似度网络上,借助社区发现的方法进行服务器集群发现。最后根据业务流确定服务器集群在业务系统中的功能层次,从而实现复杂业务系统组织结构发现。在来自某大型数据中心的真实服务器日志数据集上进行实验,实验结果表明,本文所提出的方法能够有效解决运维领域的复杂业务系统组织结构只能依靠手工绘制的痛点,实现业务系统架构自动化梳理。
暂无评论