检索结果-内蒙古大学图书馆

作者：王海婴华中科技大学

学位级别：硕士

数据抽取转换装载(ETL)是数据仓库的核心组成部分,负责从异构的数据源中抽取数据,对这些数据进行清洗、转化,并最终加载到数据仓库当中去。ETL平台开发和设计的好坏直接影响了数据仓库的构建乃至整个商业智能系统的应用。因此,对达梦数... 详细信息

数据抽取转换装载(ETL)是数据仓库的核心组成部分,负责从异构的数据源中抽取数据,对这些数据进行清洗、转化,并最终加载到数据仓库当中去。ETL平台开发和设计的好坏直接影响了数据仓库的构建乃至整个商业智能系统的应用。因此,对达梦数据交换平台(DMETL)进行改进以提高产品的指标具有重要意义。在深入研究和分析了达梦数据交换平台的工作原理和机制以及该平台在设计和实现中所涉及的关键技术的基础上,找出了现有达梦数据交换平台存在的不足和缺陷,提出了两种改进方法。其一:考虑到原有DMETL的串行工作方式不利于发挥系统的功效,将流水线技术引入到达梦数据交换平台之中。流水线的工作方式实质上是利用多线程和缓存技术,使得ETL数据的抽取,转换和加载三个环节的执行可以抽象成流水线一样运行在不同的线程实例中,从而减少了中间环节的等待时间。通过流水线工作方式充分的利用了计算机资源,提高了系统的吞吐率,提升了ETL的工作效率。第二,针对原有DMETL增量抽取方式对客户系统进行未授权操作所带来的弊端,同时考虑到实际项目中ORACLE作为数据源的应用较多,设计和实现了针对ORACLE数据源的基于日志分析的增量数据抽取方式。利用ORACLE数据库自身的日志分析工具LOG MINER,对数据库日志文件进行解析,获取用户对数据库的变更操作。通过分析数据库的变更操作来对数据库中的增量数据进行捕获。该方法可以有效降低DMETL对客户系统的影响。通过实验表明,流水线技术的引入是可以在一定程度上提高达梦数据交换平台的工作效率的,并且基于日志分析的增量捕获方式也是可以避免对客户业务系统的侵入。此外,这项工作对达梦数据库开发并提供其数据库日志分析工具也有参考价值。

关键词：数据仓库数据抽取转换加载流水线增量数据抽取日志分析

来源：评论

学校读者我要写书评

暂无评论

ETL过程优化与增量数据抽取的研究

ETL过程优化与增量数据抽取的研究

引用

作者：舒琦湖南大学

学位级别：硕士

做为数据仓库的重要组成部分,ETL(Extraction Transformation Loading)贯穿于数据仓库的全过程,担负着整合数据的重要职责。本文分别从ETL的2个方面进行了深入的研究和优化。一方面,ETL数据质量的好坏直接关系到上层决策支持系统的分析... 详细信息

做为数据仓库的重要组成部分,ETL(Extraction Transformation Loading)贯穿于数据仓库的全过程,担负着整合数据的重要职责。本文分别从ETL的2个方面进行了深入的研究和优化。一方面,ETL数据质量的好坏直接关系到上层决策支持系统的分析结果,正确的数据才能产生正确的结果,因此如何保证ETL的数据质量是非常重要的。本文针对触发器增量数据抽取方法进行了分析,发现传统方法中对快照表的并发操作可能导致快照记录失效,从而不能如实反映出数据变化的历史,出现源与目标数据不一致的情况,影响了ETL的数据质量。文中以操作系统的同步模型为参考,通过向快照表增加锁字段的方式,对并发操作进行了同步,保证了快照记录的正确性,提高了触发器增量数据抽取下ETL的数据质量。另一方面,数据仓库要求ETL具备较高的执行效率以保证数据的时效性,同时ETL在适用性和开发方面需要足够灵活才能满足用户复杂多变的业务需求。通过对SEDA(Staged Event-Driven Architecture)架构和ETL过程的深入研究,本文提出了将ETL构建于SEDA之上的方案,对ETL过程进行了优化。首先,经过与多线程模式下的ETL进行对比,证明了SEDA ETL不仅在执行效率上与之相当,而且更提供了细粒度调优、支持数据优先级以及负载控制等手段,极大的提高了ETL的适用性。其次,SEDA ETL不再以一个完整的ETL业务流程做为基本执行单元,取而代之的是SEDA中的阶段。阶段的模块化将复杂的资源管控调度变得透明,使最终用户在进行二次开发时只需要关注业务实现,同时其可重用性也为快速构建ETL应用奠定了基础,从而缩短了企业进行ETL开发所需的周期,降低了开发的成本。

关键词：数据抽取转换加载分阶段的事件驱动架构增量数据抽取

来源：评论

学校读者我要写书评

暂无评论

保险业数据参考模型对ETL的影响和作用

引用

计算机系统应用 2007年第3期16卷 50-54页

作者：郑擎宇郭妍左春中国科学院研究生院

本文在简略回顾保险业通用数据参考模型之后,以数据仓库技术中的ETL过程为着眼点,对基于保险业数据参考模型的ETL过程进行设计和分析,从而有针对性地提出一种保险行业数据抽取转换和加载的方法,最后探讨该设计在保险公司的应用。

关键词：数据参考模型数据仓库 ETL 数据抽取转换加载保险

来源：评论

学校读者我要写书评

暂无评论

数据中心系统研究与实现

引用

微处理机 2008年第2期29卷 81-82,85页

作者：张朋华李先国陈晓跃西北工业大学计算机学院西安710072

现在有许多ETL工具,其优点是通用、使用比较方便,同时也导致了其性能不能达到最优,而且也不适合大规模的远程数据采集工作。我们根据实际的数据特点和管理要求,设计和实现了一个通用的数据中心系统,以支持企业分布式异构数据的采集。

关键词：数据仓库数据抽取转换加载分布式数据库

来源：评论

学校读者我要写书评

暂无评论

保险业决策支持系统的设计与实现

保险业决策支持系统的设计与实现

引用

作者：张朋华西北工业大学

学位级别：硕士

随着网络通讯技术和数据仓库(Data Warehouse，DW)技术的发展，决策支持系统(Decision Support System，DSS)在保险、银行等金融领域的应用取得了飞速发展，但是与发达国家相比我国还存在很大差距。因此，研究我国大型企业在这方面的应... 详细信息

随着网络通讯技术和数据仓库(Data Warehouse，DW)技术的发展，决策支持系统(Decision Support System，DSS)在保险、银行等金融领域的应用取得了飞速发展，但是与发达国家相比我国还存在很大差距。因此，研究我国大型企业在这方面的应用技术具有很大意义。数据抽取转换装载(Extraction-Transformation-Loading，ETL)是决策支持系统的核心组成部分，其目标是将各分公司业务系统的日常数据，通过抽取、转换、传输和入库等环节，集中于总公司的数据服务器。本文将构建一套统一部署、集中管理的数据管理子系统，通过一个星型拓扑结构，使中心管理人员能方便地可视化管理远程节点，通过对分公司业务系统中异构数据的采集和加工，构建一个全局的数据仓库。决策推理同样是DSS的核心组成，其中验证型决策推理—联机分析处理(On-Line Analysis Processing，OLAP)技术具有归纳的作用，它将数据仓库数据作为分析对象，通过多种复杂操作，为分析人员的决策提供有力的支持。在系统的研究和实现过程中，主要取得以下成果： (1) 分析了数据库与数据仓库的异同、数据仓库的起源、数据仓库技术及其设计方法，研究了基于数据仓库的DSS的特点和当前主要的决策推理方法，分析了保险业对DSS的需求； (2) 重点进行了数据管理子系统的功能划分和设计，采用组件技术完成了任务定义、任务调度、脚本处理、通讯接口、文件上传、数据文件解析以及数据入库的实现； (3) 研究了保险业分析主题的需求，分析了如何应用Cognos系列工具进行OLAP和前端展示开发，并对数据挖掘技术进行了初步的学习； (4) 将研究和实现的系统应用于国内某大型保险集团，得到了用户的好评并取得了较好的经济收效。实际应用验证了，自行构建的基于组件技术的数据管理子系统实现了远程数据的采集，方便了客户对数据采集的监控，满足了客户业务扩展的需求；基于OLAP技术的分析模块满足了客户进行决策分析。

关键词：决策支持系统数据仓库数据抽取转换加载分布式数据库组件

来源：评论

学校读者我要写书评

暂无评论

基于CWM的标准ETL的设计与实现

引用

吉林大学学报（信息科学版） 2006年第1期24卷 50-55页

作者：郑洪源周良南京航空航天大学信息科学与技术学院南京210016

目前开发ETL(Etract Transform Load)系统过程中,最典型的问题就是元数据管理混乱,在分析ETL和元数据之间关系的基础上,提出了一种基于公共仓库模型开发的标准ETL系统设计思想,给出了该标准ETL系统的实现过程。将该方法应用于某医疗保... 详细信息

目前开发ETL(Etract Transform Load)系统过程中,最典型的问题就是元数据管理混乱,在分析ETL和元数据之间关系的基础上,提出了一种基于公共仓库模型开发的标准ETL系统设计思想,给出了该标准ETL系统的实现过程。将该方法应用于某医疗保险系统的ETL开发过程中,结果表明,与传统的ETL开发过程相比,该系统开发效率提高40%以上,系统具有良好的通用性和易集成性,解决了元数据管理混乱的问题。

关键词：数据抽取转换加载公共仓库模型抽取元数据转换元数据加载元数据

来源：评论

学校读者我要写书评

暂无评论

商务智能技术在大型客机研制中的应用研究

引用

装备制造技术 2015年第9期 91-93页

作者：商中新上海航空工业(集团)有限公司信息化中心上海201206

在大型国产民用客机研制过程中,引入商务智能技术,为整个研制工作的管理提供决策支持。着重说明了相关数据仓库的搭建、数据抽取转换加载的架构和实施,并对前段展现方法做了介绍。实施案例结合了产业发展需求与应用特征,为商务智能技术... 详细信息

在大型国产民用客机研制过程中,引入商务智能技术,为整个研制工作的管理提供决策支持。着重说明了相关数据仓库的搭建、数据抽取转换加载的架构和实施,并对前段展现方法做了介绍。实施案例结合了产业发展需求与应用特征,为商务智能技术在国内民用客机制造行业的进一步应用实施提供了经验。

关键词：商务智能数据仓库数据抽取转换加载

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：