一种基于政务数据采集的ETL处理方法及装置

专利申请号：CN201710646467.7

公 开 号：CN107463664A

发 明 人：李会 郝文祥 

代 理 人：冯春连

代理机构：37100 济南信达专利事务所有限公司

专利类型：发明申请

申 请 日：20171212

公 开 日：20170801

专利主分类号：G06F17/30(20060101)

关 键 词：外部数据库 实时监控 数据采集 数据总量 外部文件 天数 抽取 采集 数据采集技术 数据采集模块 统计分析模块 管理和使用 统计分析图 采集成功 查询文件 获取数据 监控模块 数据抽取 数据调度 数据实现 统计分析 数据量 调度 失败 创建 成功 

摘      要：本发明提供一种基于政务数据采集的ETL处理方法，属于数据采集技术领域，该处理方法通过平台工具的方式提供外部文件数据的导入、外部数据库的抽取获取到数据，并在获取数据的过程中实时监控，最后，对采集到的数据实现按数据量大小和采集天数进行统计分析，解决政务高效的管理和使用数据。本发明还提供一种ETL处理装置，包括：通过ETL工具的方式提供外部文件数据的导入、外部数据库的抽取完成数据采集的ETL数据采集模块；通过ETL工具提供的接口来实现数据调度、通过创建task任务进行实时监控的调度与监控模块；用于查询文件导入或者数据抽取的数据总量、成功量、失败量，并把采集成功的数据总量分大小和天数出具统计分析图的统计分析模块。