面向协议数据流的数据抽取研究

作     者：潘鑫侨 

作者单位：华中科技大学 

学位级别：硕士

导师姓名：王非

授予年度：2014年

学科分类：0810[工学-信息与通信工程] 08[工学] 081001[工学-通信与信息系统] 

主      题：数据抽取技术 协议数据流 结构特征 包装器模型 

摘      要：近年来，随着物联网、云计算、大数据等技术的快速发展，相关的工业设备向着智能化的方向迈进，使得工业化信息化的发展进程不断地加快，通过将全球的工业系统与先进计算、数据分析工具、低成本的传感设备和更高联网水平的高度融合，将重构全球工业，提高生产效率，工业的创新和变革正在展开。\n 工业系统中的智能工业设备能够通过软件程序快速灵活地定制其数据处理逻辑，改变设备对外交互所使用的应用层数据通信协议，这对数据的实时集成提出了新的要求和挑战。\n 通过分析协议数据流的结构特征，并结合数据抽取技术的相关理论和思想，设计了一种面向协议数据流的数据抽取模型的实现方案，解决了传统的数据采集系统在数据集成方面存在的通用性不足、扩展性不足以及灵活性不足等问题。对协议数据流的数据抽取过程包括四个阶段，分别为模式参数提取、数据模式识别、数据项的抽取和结构化生成以及数据映射转换。其中模式参数提取基于树形的参数解析模型从协议数据流中迭代提取出当前数据帧的模式参数，通过对树形结构的节点描述，使得系统可以提取不同类型的协议数据流的参数信息；模式识别过程则通过模式参数，结合元数据描述的模式信息表，获得数据项的模式信息；数据项抽取和结构化生成过程应用有限状态自动机的模型，通过模式信息和解析参数从数据域中自动地抽取数据记录；数据映射转换通过对映射关系建模，使用转换函数和转换参数来描述数据映射规则，可以处理各种类型的数据转换。\n 结合协议数据流的数据抽取模型，设计了面向协议数据流的数据抽取系统的实现方案，系统基于包装器模型设计，通过定制抽取规则实现对协议数据流的数据抽取。通过测试结果可以看出，系统能够满足实时性的要求。