检索结果-内蒙古大学图书馆

做为数据仓库的重要组成部分,ETL(Extraction Transformation Loading)贯穿于数据仓库的全过程,担负着整合数据的重要职责。本文分别从ETL的2个方面进行了深入的研究和优化。一方面,ETL数据质量的好坏直接关系到上层决策支持系统的分析结果,正确的数据才能产生正确的结果,因此如何保证ETL的数据质量是非常重要的。本文针对触发器增量数据抽取方法进行了分析,发现传统方法中对快照表的并发操作可能导致快照记录失效,从而不能如实反映出数据变化的历史,出现源与目标数据不一致的情况,影响了ETL的数据质量。文中以操作系统的同步模型为参考,通过向快照表增加锁字段的方式,对并发操作进行了同步,保证了快照记录的正确性,提高了触发器增量数据抽取下ETL的数据质量。另一方面,数据仓库要求ETL具备较高的执行效率以保证数据的时效性,同时ETL在适用性和开发方面需要足够灵活才能满足用户复杂多变的业务需求。通过对SEDA(Staged Event-Driven Architecture)架构和ETL过程的深入研究,本文提出了将ETL构建于SEDA之上的方案,对ETL过程进行了优化。首先,经过与多线程模式下的ETL进行对比,证明了SEDA ETL不仅在执行效率上与之相当,而且更提供了细粒度调优、支持数据优先级以及负载控制等手段,极大的提高了ETL的适用性。其次,SEDA ETL不再以一个完整的ETL业务流程做为基本执行单元,取而代之的是SEDA中的阶段。阶段的模块化将复杂的资源管控调度变得透明,使最终用户在进行二次开发时只需要关注业务实现,同时其可重用性也为快速构建ETL应用奠定了基础,从而缩短了企业进行ETL开发所需的周期,降低了开发的成本。

关键词：数据抽取转换加载分阶段的事件驱动架构增量数据抽取

来源：评论

学校读者我要写书评

暂无评论

数字化钻井ETL增量数据抽取与同步机制

引用

信息系统工程 2024年第10期 84-87页

作者：康芳玲王建胜长庆钻井总公司信息与档案管理中心

随着石油钻井行业数字化转型的深入推进,数据的实时性、准确性和完整性对提高钻井效率和决策质量至关重要。针对数字化钻井环境下数据抽取、转换和加载(ETL)过程中的增量数据抽取与同步问题,提出了一种基于时间戳和变更数据捕获(CDC)的... 详细信息

随着石油钻井行业数字化转型的深入推进,数据的实时性、准确性和完整性对提高钻井效率和决策质量至关重要。针对数字化钻井环境下数据抽取、转换和加载(ETL)过程中的增量数据抽取与同步问题,提出了一种基于时间戳和变更数据捕获(CDC)的混合机制。该机制通过对源数据系统的日志分析和数据比对,实现了高效、准确的增量数据识别和抽取。同时,采用分布式消息队列和实时流处理技术,构建了一个低延迟、高吞吐量的数据同步管道。

关键词：数字化钻井 ETL 增量数据抽取数据同步变更数据捕获

来源：评论

学校读者我要写书评

暂无评论

增量数据抽取处理方法及装置、计算机设备、介质

增量数据抽取处理方法及装置、计算机设备、介质

引用

作者：白肖卫宣安吴闽华姜坤 518057 广东省深圳市南山区粤海街道高新区社区科苑南路3176号彩讯科技大厦五层、六层

本申请涉及增量数据抽取处理方法及装置、计算机设备、介质，方法包括：创建用于存储新数据的新数据表A，创建用于存储历史数据的历史更新表B，以及创建有N个线程的线程池；从系统获取需要同步更新的数据量为M的数据；将数据量为M的数... 详细信息

标准号: CN111309733A

本申请涉及增量数据抽取处理方法及装置、计算机设备、介质，方法包括：创建用于存储新数据的新数据表A，创建用于存储历史数据的历史更新表B，以及创建有N个线程的线程池；从系统获取需要同步更新的数据量为M的数据；将数据量为M的数据，平均分配到N个线程进行处理插入到新数据表A；将新数据表A与历史更新表B进行差集运算，得到数据量为L的增量数据；将数据量为L的增量数据，平均分配到N个线程进行处理，将处理的数据分别插入到历史更新表B，并清空新数据表A的数据。本发明提供了设计合理，效果显著的多线程处理基于数据库表差集抽取增量数据的方法，可以提高系统的吞吐能力，数据处理准确、高效、节约应用软件的内存占有量。

关键词：数据量历史更新增量数据线程平均分配创建存储历史数据增量数据抽取多线程处理计算机设备内存占有量数据库表同步更新吞吐能力系统获取应用软件数据处理线程池新数据清空运算抽取存储节约申请

来源：评论

学校读者我要写书评

暂无评论

增量数据抽取方法、装置及服务器

增量数据抽取方法、装置及服务器

引用

作者：褚占峰王建毅徐辉王俊皓 310024 浙江省杭州市转塘科技经济区块16号4幢326室

本申请提供一种增量数据抽取方法、装置及服务器，方法包括：从源数据库系统中获取最新产生的增量数据对应的标识；依据获取的标识和本地已抽取的最后一条增量数据的标识，确定待抽取增量数据的标识范围；从源数据库系统中抽取并存储标... 详细信息

标准号: CN109213817A

本申请提供一种增量数据抽取方法、装置及服务器，方法包括：从源数据库系统中获取最新产生的增量数据对应的标识；依据获取的标识和本地已抽取的最后一条增量数据的标识，确定待抽取增量数据的标识范围；从源数据库系统中抽取并存储标识范围对应的增量数据。由于本申请不需要在源数据库系统中安装任何代理程序，便可实现增量数据的抽取，从而可以降低增量数据抽取对源数据库正常运行的影响。

关键词：增量数据源数据库抽取增量数据抽取存储标识代理程序申请服务器

来源：评论

学校读者我要写书评

暂无评论

增量数据抽取方法、装置及服务器

增量数据抽取方法、装置及服务器

引用

作者：褚占峰王建毅徐辉王俊皓 310024 浙江省杭州市转塘科技经济区块16号4幢326室

标准号: CN109213817B

关键词：增量数据源数据库抽取增量数据抽取存储标识代理程序申请服务器

来源：评论

学校读者我要写书评

暂无评论

基于ETL任务的增量数据抽取方法、装置、设备及介质

基于ETL任务的增量数据抽取方法、装置、设备及介质

引用

作者：熊汉 518000 广东省深圳市前海深港合作区妈湾兴海大道3048号前海自贸大厦1-34层

本发明涉及数据处理领域，提供了一种基于ETL任务的增量数据抽取方法、装置、设备及介质，所述基于ETL任务的增量数据抽取方法包括：获取ETL任务；从ETL任务包含的基础字段中筛选出包含预设字段的目标任务；对目标任务进行解析处理，确... 详细信息

标准号: CN111813845A

本发明涉及数据处理领域，提供了一种基于ETL任务的增量数据抽取方法、装置、设备及介质，所述基于ETL任务的增量数据抽取方法包括：获取ETL任务；从ETL任务包含的基础字段中筛选出包含预设字段的目标任务；对目标任务进行解析处理，确定目标任务对应的数据类型；判断目标任务是否属于首次运行；若目标任务属于首次运行，则根据数据类型确定目标任务对应的目标增量界限值；若目标任务不属于首次运行，则获取预设字段对应的目标值，作为目标任务对应的目标增量界限值；根据目标增量界限值，对ETL任务进行增量数据抽取。本发明还涉及区块链技术，所述ETL任务可存储于区块链中。本发明的技术方案实现提高针对ETL任务进行增量数据抽取的准确性。

关键词：增量数据抽取目标增量字段区块预设数据处理领域数据类型确定解析处理数据类型可存储筛选

来源：评论

学校读者我要写书评

暂无评论

一种增量数据抽取方法

一种增量数据抽取方法

引用

作者：蒋添诗 300459 天津市滨海新区高新区塘沽海洋科技园汇祥道399号6号楼

本发明提供了一种增量数据抽取方法，包括如下步骤：S1：为业务系统中的每个需要增量抽取数据的表郑家一个自增长的代理键字段和一个时间戳字段；S2：根据时间戳字段对数据表中的数据进行新增或修改；S3：根据业务系统中的日志记录，删... 详细信息

标准号: CN116821131A

本发明提供了一种增量数据抽取方法，包括如下步骤：S1：为业务系统中的每个需要增量抽取数据的表郑家一个自增长的代理键字段和一个时间戳字段；S2：根据时间戳字段对数据表中的数据进行新增或修改；S3：根据业务系统中的日志记录，删除数据表中的数据。本发明有益效果：每次只抽取上次抽取后未抽取的新增或修改的数据和上次处理后未处理的删除的数据，业务数据量较小，可提升数据抽取的效率；业务数据库和数据仓库允许只在抽取时处于连通状态，不必时时刻刻处于连通状态。

关键词：抽取字段连通状态业务系统时间戳删除增量数据抽取业务数据库业务数据量日志记录数据仓库数据抽取增量抽取代理键未处理

来源：评论

学校读者我要写书评

暂无评论

一种实现增量数据抽取的方法、装置及系统

一种实现增量数据抽取的方法、装置及系统

引用

作者：范鑫英属开曼群岛大开曼岛资本大厦一座四层847号邮箱

本申请实施例涉及一种实现增量数据抽取的方法、装置和系统；其中，所述方法包括：从数据备库中获取增量数据的主键信息；根据主键信息到与所述数据备库进行数据同步的数据主库中查询整条增量数据；将查询到所述整条增量数据插入到目标... 详细信息

标准号: CN102841897B

本申请实施例涉及一种实现增量数据抽取的方法、装置和系统；其中，所述方法包括：从数据备库中获取增量数据的主键信息；根据主键信息到与所述数据备库进行数据同步的数据主库中查询整条增量数据；将查询到所述整条增量数据插入到目标数据仓库中。采用本申请的方法、装置和系统进行增量数据的抽取，能够节省大量时间和系统资源，极大提高了增量数据抽取的效率。

关键词：增量数据增量数据抽取整条主键查询目标数据数据同步系统资源时间和一种主库申请插入抽取仓库节省获取进行涉及

来源：评论

学校读者我要写书评

暂无评论

一种新型增量数据抽取方法的研究

引用

黑龙江科技信息 2016年第36期 271-271页

作者：蔡立新徐国强金香天津海维科技有限公司天津301700 包头师范学院内蒙古包头014030

针对当前增量数据抽取中存在的主要问题,本文研究了一种增量数据的抽取方法。实际应用表明,该方法可以大大提高系统的吞吐能力;数据处理准确、高效。

关键词：并行处理增量数据抽取比对式

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：