检索结果-内蒙古大学图书馆

本课题组与协作公司在2012年针对油品运输物联网展开研究,在防爆冗余度、检测信号可信度、网络连通性以及网络稽查机制方面取得了许多成果,并在2017年成功申报了陕西省技术创新引导专项(基金),在此背景下本课题展开对油品运输物联网系统的日志文件进行分析设计与开发。针对日志文件进行分析系统的设计与开发,主要从解析日志文件中的关键信息,轨迹的回放包含状态信息的展示,站点模块的管理开发以及智能分析异常四个方面展开研究设计与开发。日志文件分析系统采用struts2+spring+myBatis的框架模式进行开发,数据库采用Mysql关系型数据库,开发环境win10+jdk1.7,部署服务器Tomcat服务器。该系统主要功能是日志文件的解析,解析后的轨迹回显,回显过程中的报警信息,以及最后的智能分析;其中日志文件内容通过正则表达式进行匹配,获取相关数据和信息;轨迹的回显调用的百度地图的接口来实现;智能分析基于实地调研得出判断条件得出计算异常次数的公式从而进行记录。智能分析过程就是为了排除运输过程中的报警信息,得出运油车司机是否存在盗油这一行为。考虑到系统监控覆盖地区较多,采用总站和子站联合监控的模式进行管理。针对研究开发的日志文件分析系统进行了白盒代码测试和软件调试,黑盒功能测试,测试结果表明项目研究和软件开发达到了预期目标。。

关键词：日志分析日志分析系统 struts2+spring+mybatis 油品运输物联网系统

来源：评论

学校读者我要写书评

暂无评论

基于Agent的日志分析系统的设计与实现

基于Agent的日志分析系统的设计与实现

引用

作者：刘国忠山西大学

学位级别：硕士

随着互联网技术的深入发展,各行各业普遍采用信息系统办公,保障系统高效、安全、稳定地运行以及保护相关信息的安全成为运营单位工作不可或缺的一部分。操作系统以及各类应用软件为了满足安全性需求,配置并启用策略,系统将异常情况和用... 详细信息

随着互联网技术的深入发展,各行各业普遍采用信息系统办公,保障系统高效、安全、稳定地运行以及保护相关信息的安全成为运营单位工作不可或缺的一部分。操作系统以及各类应用软件为了满足安全性需求,配置并启用策略,系统将异常情况和用户的行为以日志的形式记录,因此挖掘这些记录具有重要意义。此外,在大数据时代,日志数据每天大量生成,人工分析远远不能满足运维需求,及时处理海量的日志数据就显得十分必要。然而一些单位安全管理人员存在安全意识差和技术能力薄弱等情况,管理员渴望能有一款简单易用、高效率的系统为其提供必要的技术支持。鉴于上述两种情况,构建一款能够近乎实时处理日志数据的平台是解决目前企业信息系统运维需求的关键所在。本文完成的工作主要包括:1)分析当今运营单位安全管理普遍存在的问题,确定用户的具体需求;2)研究日志分析技术以及主流日志分析产品的缺陷,设计基于Agent的日志分析系统架构,采用Agent采集、Elastic Search存储分布式的日志数据,设计"中间日志格式"解决日志异构问题;3)建立常见安全事件的特征库进行关联分析,挖掘日志中隐藏的安全事件和系统脆弱点,并生成安全告警通知管理员。通过使用Elastic Search作为代理实现了基于Agent的日志分析系统,系统自动采集、分析日志数据,并生成告警通知管理员,管理员可以直观掌握系统的运行情况以及存在的安全威胁,有效规避系统漏洞,保障监测对象的安全,满足网络运维需求。

关键词：信息安全 Agent 日志分析系统

来源：评论

学校读者我要写书评

暂无评论

基于windows平台的日志分析系统的设计与实现

基于windows平台的日志分析系统的设计与实现

引用

作者：史春涛北京大学

学位级别：硕士

计算机网络无疑是当今世界最为激动人心的高新技术之一。它的出现和快速的发展，尤其是Internet(国际互联网)的日益推进和迅猛发展，为全人类建构起一个快捷、便利的虚拟世界。与此同时，计算机犯罪活动日益猖獗，而且呈现专业化的新趋... 详细信息

计算机网络无疑是当今世界最为激动人心的高新技术之一。它的出现和快速的发展，尤其是Internet(国际互联网)的日益推进和迅猛发展，为全人类建构起一个快捷、便利的虚拟世界。与此同时，计算机犯罪活动日益猖獗，而且呈现专业化的新趋势，这不仅给计算机公司、政府部门和机构造成巨大经济损失，而且严重威胁人们合法权利和切身利益，甚至国家安全。如何打击计算机犯罪、确保信息社会的安全与正常秩序，已经成为一个摆在各国政府和国际组织面前的严峻挑战。目前，打击计算机犯罪的关键是如何将犯罪者留在计算机中的“痕迹”作为有效的诉讼证据提供给法庭，以便将犯罪者绳之以法。\n 在系统入侵发生后，系统日志以及应用程序日志可以提供用来判定攻击者何时、何地以及如何侵入系统的取证信息。但是，计算机日志作为取证系统的一个重要组成部分，却具有多样性和关联性、数据量大和可读性差等缺点。计算机日志的上述特点给我们的取证工作带来了极大的困难，特别是未经过严格系统训练的取证人员，常常面对一大堆的日志数据而不知如何下手调查。\n 为了解决这个问题，作者在结合国内外计算机取证技术研究的基础上，对计算机操作系统日志、网络服务器日志、数据库日志、防火墙日志等与计算机取证相关日志的格式及内容进行较深入的研究和分类，并开发了一个基于windows平台的能够向网络警察提供便捷日志关联分析功能的计算机日志分析系统，将日志原始信息中的产生时间、持续时间、服务类型、源地址、目的地址、收发字节数、目的端口等关键字段进行自动识别并导入到系统数据库中进行格式化的存储，通过智能的数据预处理功能将日志数据中的无用数据进行过滤，并提供查找、排序、关联分析等功能。网警工作人员可利用该系统对涉案的计算机日志数据进行查询分析以发现和获取有用的证据信息。经测试，该系统基本实现了对日志数据进行格式的智能转化、数据预处理、快捷查询分析及作为证据的长期备份保存的功能需求。

关键词：计算机取证 windows平台日志分析系统

来源：评论

学校读者我要写书评

暂无评论

基于Hadoop的电信业务日志分析系统的设计与实现

基于Hadoop的电信业务日志分析系统的设计与实现

引用

作者：高永铎北京邮电大学

学位级别：硕士

大数据的处理分析一直是一个热点的研究问题。随着电信运营商移动业务的快速发展，支撑设备产生的业务日志数据越来越庞大。\n 如何更好的分析持续增长的业务日志信息，为客户提供更高效的挖掘业务日志信息的能力，提供更高的运营支... 详细信息

大数据的处理分析一直是一个热点的研究问题。随着电信运营商移动业务的快速发展，支撑设备产生的业务日志数据越来越庞大。\n 如何更好的分析持续增长的业务日志信息，为客户提供更高效的挖掘业务日志信息的能力，提供更高的运营支撑服务。是本文研究的重点内容。\n 系统的设计开发，采用了Hadoop及其相关产品为基础的架构。本文简单介绍了Hadoop这个开源的大数据处理平台。并介绍基于Hadoop平台的相关技术与产品。例如:MapReduee、HDFS、Hive、HBase等的基本原理和应用。\n 本文的重点侧重于介绍基于Hadoop、Hive、HBase构建的业务日志分析系统的设计和应用。并采用对比的方式，说明了未采用Hadoop架构前的系统缺陷及改进架构后系统获得的优点。主要的优势体现在使用Hive进行大数据的分析和使用HBase进行海量数据的查询。并提供了传统构架与基于Hadoop的对比测试。通过对比测试，反映出在Hadoop平台上构建大数据分析的优势。\n 最后本文介绍了，集群的监控工具Nagios。通过Nagios对集群进行有效的监控，保证集群的安全和稳定。\n 总之，本系统的开发，主要是利用Hive简化了Hadoop在海量数据处理方面的开发复杂度，同时又保证了Hadoop在海量数据处理方面的性能优势。还采用HBase和Lucene弥补了Hadoop平台数据的多条件实时查询功能的缺陷。通过最后的对比实验测试，本文介绍的Hadoop平台架构方案，在大数据的处理和分布式计算方面，有较高的实用价值。

关键词： Hadoop系统 Hive系统 Hbase系统大数据电信业务日志分析系统

来源：评论

学校读者我要写书评

暂无评论

基于Spark的日志分析系统的设计与实现

基于Spark的日志分析系统的设计与实现

引用

作者：姚晗大连理工大学

学位级别：硕士

随着公司业务量的增长和设备数量的不断增多，服务器产生的机器日志文件也变得越来越大，对解决设备故障、提供设备维护的工程师构成了越来越大的挑战，由工程师手动查阅日志文件，寻找故障产生的根源变得越来越困难。如何从原始的机器... 详细信息

随着公司业务量的增长和设备数量的不断增多，服务器产生的机器日志文件也变得越来越大，对解决设备故障、提供设备维护的工程师构成了越来越大的挑战，由工程师手动查阅日志文件，寻找故障产生的根源变得越来越困难。如何从原始的机器日志文件中挖掘出有意义的信息，有效管理系统及资源是本文所要解决问题的关键。　　本文在大数据研究背景下，对主流的日志分析技术进行了深入调研，学习了经典的日志分析系统的实现方式，研究了常用的大数据处理方法，进而设计并实现了基于Spark的日志分析系统。日志分析系统以CICS交易服务器为研究对象，采用Spark分布式计算引擎，使用web服务的方式展现给用户。本文根据功能性需求对日志上传，日志提取，日志存储，日志分析，报告生成五个模块进行了需求分析，系统设计与编码实现。日志上传模块将原始日志文件上传到Spark集群的文件系统中，日志提取模块按照既定的日志特征库从日志文件中提取出关键性能指标，日志存储模块将性能指标存储到Hive数据仓库中，日志分析模块根据Hive数据仓库中的历史数据采用机器学习算法生成预测模型，根据当前日志数据预测未来是否会产生性能故障。报告生成模块根据日志性能指标和预测结果生成健康检查报告，展示系统当前的运行状况以及未来是否会产生性能故障。　　本文的主要贡献是采用分布式计算引擎实现了日志分析系统，提高了日志提取的效率。将服务器的历史日志数据存储在数据仓库中，不断完善预测模型，提高了预测准确度。采用决策树算法生成预测模型，能够预测系统未来的运行状况。

关键词：日志分析系统分布式计算 Hive数据仓库决策树算法 Spark

来源：评论

学校读者我要写书评

暂无评论

基于ELK和非结构化日志聚类的日志分析系统研究

基于ELK和非结构化日志聚类的日志分析系统研究

引用

作者：冯士龙中国科学院大学

学位级别：硕士

近年来随着分布式、大数据等技术的发展，企业、机构中的搭建的大数据平台规模越来越大，平台上部署的大数据组件种类和节点数也随着增多，这使得对于大数据平台以及组件的运维越来越困难。日志作为系统运维人员常用的工具，通常用来监... 详细信息

近年来随着分布式、大数据等技术的发展，企业、机构中的搭建的大数据平台规模越来越大，平台上部署的大数据组件种类和节点数也随着增多，这使得对于大数据平台以及组件的运维越来越困难。日志作为系统运维人员常用的工具，通常用来监控组件运行状态。而随着大数据平台规模的增大，大数据组件产生的日志规模也随之增多，加之大数据组件产生的日志为非结构化文本，这就对日志的采集、存储和处理造成了难题。　　本文根据数字地球资源管理与自动化服务项目的实际需求，结合当前流行的日志分析框架和基于日志的异常检测方法，设计并实现了一个基于ELK的大数据组件日志分析系统。主要工作如下:　　首先在对ELK技术栈以及基于日志的异常检测方法进行了分析研究的基础上，结合实际项目，分析了系统的功能和性能需求以及预期达到的目标，对日志分析系统进行了总体的设计，总结出了系统需要具备的功能，并对系统的各个功能模块进行了划分。　　然后对系统进行了详细设计与实现，搭建并实现了基于ELK的大数据组件日志分析系统，其中实现了日志采集模块、消息发布/订阅模块、日志转发模块、数据存储模块、异常检测模块和可视化模块。针对各个组件的基础组件进行了详细的设计与实现。本系统中各个功能模块相互配合，共同完成了日志采集、存储和分析等功能。　　最后通过搭建系统测试环境，对本系统的各个功能模块进行测试，通过分析系统测试的结果，对系统的功能和性能进行了验证，表明本系统能很好的满足项目的实际需求。　　本文设计并实现了一个基于ELK的针对大数据组件进行采集、存储和展示的日志分析系统，并在异常检测模块使用改进的基于日志的异常检测方法对大数据组件进行异常检测，该系统为大数据组件和大数据平台的稳定运行提供了支持。

关键词：日志分析系统非结构化聚类 ELK技术数据存储功能模块

来源：评论

学校读者我要写书评

暂无评论

日志分析系统的任务调度体系结构研究

引用

科技信息 2013年第5期 111-112页

作者：邓海川方旭升南京航空航天大学江苏南京210000

任务调度作为日志分析系统的核心模块决定着整个系统性能,本文总结了现有调度模块的问题,并提出采用任务收集器、中央调度器和计算节点所构成的Collector-Master-Slave三层结构来接收、处理、监控任务,从根本上优化了计算节点间负载均衡... 详细信息

任务调度作为日志分析系统的核心模块决定着整个系统性能,本文总结了现有调度模块的问题,并提出采用任务收集器、中央调度器和计算节点所构成的Collector-Master-Slave三层结构来接收、处理、监控任务,从根本上优化了计算节点间负载均衡,提高了日志分析系统效率。最后通过实验证明了设计方案的可行性与有效性。

关键词：日志分析系统任务调度体系结构

来源：评论

学校读者我要写书评

暂无评论

基于Django的日志分析系统的设计与实现

基于Django的日志分析系统的设计与实现

引用

作者：潘宇轩南京大学

学位级别：硕士

在信息化飞速的发展今天,电子商务因为其方便、快捷受到越来越多人的喜爱。eBay (***)就是其中之一的购物网站。由于eBay在全球有着大量的用户,用户的每一次访问,每一次操作都会有日志进行记录,因此网站后台系统每天会产生大量的日志,约... 详细信息

在信息化飞速的发展今天,电子商务因为其方便、快捷受到越来越多人的喜爱。eBay (***)就是其中之一的购物网站。由于eBay在全球有着大量的用户,用户的每一次访问,每一次操作都会有日志进行记录,因此网站后台系统每天会产生大量的日志,约1GB/天。这些日志对公司来说是非常珍贵的数据,从中可以提取出丰富的有用信息。然而对日志包含的信息进行提取、筛选、统计是一个十分复杂的过程,这通常需要大量的存储空间和运行开销。而如何将分析出的结果展现给用户也是一个复杂的问题。因此为了对日志进行快速分析并获得数据,并将统计结果友好地展现给用户,我们开发了一个供公司内部使用的日志分析系统一—Logstash。Logstash日志分析系统基于B/S模式,用户通过浏览器获得想要的数据,方便快捷。同时使用了基于MVC模式的Django框架,使系统的职能分工明确,降低了模块间的耦合度。在存储部分,该项目采用了分布式存储,很好地解决了数据量大的问题,提供了高性能、高可靠、可扩展的后台存储功能。在搜索部分,该项目使用了Elasticsaerch开源分布式搜索引擎,从而实现了搜索的实时性、稳定、可靠和易于使用。在前端展现部分,采用了开源的Bootstrap前端框架,使页面布局合理清晰,同时使用了Ajax、jQuery等先进的前端技术进行图表的展现,实现了很好的人机交互。公司的日志分为很多种类,涵盖的不同的领域,每种类型的日志都有其独特的格式。因此,Logstash日志分析系统提供了可扩展的通用接口,方便用户对日志的种类和日志查询的条目进行添加和修改。并且将数据进行一定的统计,通过友好的图表界面展现给公司内部用户,方便用户进行数据分析和故障查询。

关键词：日志分析系统 Django框架 Logstash 分布式存储

来源：评论

学校读者我要写书评

暂无评论

内蒙古移动流量日志分析系统的需求分析与设计

内蒙古移动流量日志分析系统的需求分析与设计

引用

作者：杜俭峰北京邮电大学

学位级别：硕士

论文首先陈述了内蒙古移动因“流量收费明细模糊”造成的客户投诉率增加，不满意率增高，直接影响经营效益;为解决客户满意度提升和流量经营需要，引入非结构化数据处理能力，提升客户满意度、向流量经营转型的整体规划下，建设流量日... 详细信息

论文首先陈述了内蒙古移动因“流量收费明细模糊”造成的客户投诉率增加，不满意率增高，直接影响经营效益;为解决客户满意度提升和流量经营需要，引入非结构化数据处理能力，提升客户满意度、向流量经营转型的整体规划下，建设流量日志分析系统，提供流量查询、释疑、服务和运营的能力。　　然后在对RIA（参照信息架构）通用模型框架及传统数据仓库深入研究的基础上，针对目前内蒙古移动公司在流量上网投诉、GPRS话单不满足客户明白消费等方面存在的问题，提出一种基于由Hadoop平台组成的UDA混搭架构，利用网络爬虫、文本分词等技术实现非结构化网络流量数据分析和管理。采用DFD图、用例图、MSC图等需求分析工具进行流量日志分析系统的需求分析，描述业务流程和业务场景、功能架构和功能关系;对信息量和功能要求进行分析，估算出存储空间、依据客户响应时限和效率参数标准值，提出了性能要求。　　在系统设计部分，从系统集成架构、系统软件架构、系统主要接口等方面进行阐述，明确系统的硬件、软件、接口和工作组成部分和原理;在详细设计部分，对数据库设计、概念模型、物理模型、物理表结构进行了详细的阐述和说明，然后按照数据流向，自底向上的阐述了获取层、数据层、应用层、访问层设计过程。　　最后，在系统总体框架下，配合各项关键技术的使用，按照需求分析和设计实现了内蒙古流量日志分析系统。目前系统已经通过了功能测试和性能测试，系统运行稳定，能满足业务需求。

关键词：移动流量日志分析系统系统需求优化设计

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：