数据压缩是减少网络数据流量、避免拥挤、提高控制系统性能的有效手段。针对数据压缩的问题,在分析了一系列现有有损压缩算法基础上,提出了一种新思想,改进了现有的旋转门(Swing Door Trending)算法,在每个存储数据的地方保存了两个有...
详细信息
数据压缩是减少网络数据流量、避免拥挤、提高控制系统性能的有效手段。针对数据压缩的问题,在分析了一系列现有有损压缩算法基础上,提出了一种新思想,改进了现有的旋转门(Swing Door Trending)算法,在每个存储数据的地方保存了两个有用的数据,并表明了该算法正确性和合理性。实验数据结果表明该算法确实可以在不增加压缩误差的前提下,有效地提高压缩比。
随着现代化工业的发展，制造企业规模越来越大，生产技术也变得越来越复杂，因此，需要对整个生产过程进行监控，将分散使用的仪器、仪表、控制器等集中起来管理，于是，产生了工业组态软件(SCADA，Supervisory Control And Data Acquis...
详细信息
随着现代化工业的发展，制造企业规模越来越大，生产技术也变得越来越复杂，因此，需要对整个生产过程进行监控，将分散使用的仪器、仪表、控制器等集中起来管理，于是，产生了工业组态软件(SCADA，Supervisory Control And Data Acquisition)。它一般由如下几个部分组成：数据采集与控制信息发送、历史数据记录与趋势显示、报警记录及事件处理、报表生成和打印等。其中，历史数据的存储和查询是工业组态软件不可或缺的部分，它主要服务于工艺流程的改进、设备性能的维护以及故障原因的诊断。
历史数据库产品的开发自2000年以来逐步升温，一些国外知名自动化公司纷纷推出自己的历史数据库。因此，研究一套具有开放性的历史数据库体系结构，改善历史数据存储和查询过程、改进历史数据压缩方法，将会是一项很有意义的研究，有利于打破国外技术壁垒。具体内容可以概括为以下几个方面：
1．在分析我国流程工业和自动化组态软件现状和发展趋势的基础上，针对国内对历史数据库缺乏专门研究的情况，提出了历史数据库的体系结构和框架，并结合SunyTDC9200集散控制系统实现了一套历史数据库SunyHDB。在设计时，采用了ActiveX组件技术，使该系统具有良好的移植性和易用性。
2．通过分析工程数据库系统，论证了专用历史数据库系统比传统商用关系数据库更加适合流程工业的事实。同时结合实际运用，介绍了两个历史数据库产品。
3．总结了流程工业历史数据的特点，定义了信号点、过程数据以及历史数据库等的数据模型。
4．结合先进控制软件对历史数据的不同访问需要，提出了内存历史数据库和磁盘历史数据库两种可选数据存储模型。重点研究了磁盘历史数据库高效的存储和查询方法；改进了传统时间信息的组织方式；提出了集成文件管理体系以及多级索引和哈希链表的数据管理方式；并在理论上分析了数据文件的查询效率。
5．介绍三种节省磁盘空间的方法：定时存储和定差存储(死区压缩)策略、数据文件的归档策略，以及旋转门压缩算法。其中，在介绍旋转门压缩算法原理的基础上，重点比较了两种算法的实现策略，并且给出了实现细节。实践证明，
浙江大学硕士学位论文
通过这些方法，对减少数据量有着良好的效果。
关键词:流程工业，历史数据库，组态软件，磁盘历史数据库，旋转门压缩算
法，存储策略，多级索引
随着我国智慧农业的不断发展,各种类型的农业数据呈现爆发式的增长。同时,农业数据存在存储效率不高、核心数据易丢失、数据存储平台落后以及数据共享开放不足等问题,严重制约着我国智慧农业的发展。为保证农业数据存储系统的可靠性、可扩展性以及数据的高效共享,促进智慧农业的快速发展,本文提出一种基于REST和MongoDB的分布式数据存储方案。本文首先介绍智慧农业数据存储方案所用到的关键技术。接着对智慧农业中的数据特征和存储需求进行分析,选择MongoDB数据库作为数据持久层的技术进行存储。最后,结合智慧农业数据特征和MongoDB的文档模型,构建了基于MongoDB数据库的农业数据存储模型,并对具有代表性的农业数据存储模型进行了详细设计。其次,用于压缩农业传感数据的旋转门压缩算法(swing door trending,SDT)存在抗噪性弱、数据还原误差较大以及压缩精度参数选择困难等不足。因此,本文提出一种线性自适应的旋转门压缩算法(Linear adaptive swing door trending,LA-SDT)。实验结果证明,LA-SDT算法的压缩性能比较SDT算法压缩比提高了18.3%,而压缩误差提高了62.7%。最后,为提高农业数据的共享性和分布式系统的易扩展性,本文采用REST和MongoDB搭建智慧农业数据平台。该平台的主要功能模块包括:基于Mongoose工具的数据模型构建模块,基于Mongoose和Express框架实现REST风格的数据接入与访问模块,运用MapReduce计算模型的数据处理模块。最后在实验环境部署MongoDB的分布式存储集群,并对该存储集群的可靠性,可用性和易可扩展性进行测试。
暂无评论