在数据库管理(Database Management)领域,实时或者近实时的数据库数据复制(Real Time or Near Real Time Database Replication)始终是企业级数据管理领域的一个重要主题。大数据时代的来临对数据库管理领域的影响是深远和长久的。本论...
详细信息
在数据库管理(Database Management)领域,实时或者近实时的数据库数据复制(Real Time or Near Real Time Database Replication)始终是企业级数据管理领域的一个重要主题。大数据时代的来临对数据库管理领域的影响是深远和长久的。本论文的研究目标是设计一种高性能数据库复制数据流框架,基于该框架的数据库复制系统能够充分利用现有的软件、硬件的技术进步,从而提供高速的数据库数据复制服务。本论文的主要工作和贡献如下:1.设计和实现了一种基于并发执行的子任务流水线架构,以此实现高性能的数据库复制系统。从系统开发角度,子任务是完成数据复制的分解步骤的过程描述,与具体的运行线程隔离,从运维角度,用户可以通过调节同时执行的子任务的个数来调控数据库复制的性能和计算资源占用的关系。2.研究分析了不同事务之间数据变更的相互依赖关系,将无依赖的变更并发复制到目标数据库中,充分利用了目标数据库自身的并发处理能力,从而提高了数据复制的性能。3.设计了一种可以计算一段时间内所有事务净变更的计算方法,从而减少了需要写入目标数据库的变更操作个数,提高了特定场景下的数据复制的性能。4.设计了一种简单的自动调节事务提交尺寸的算法,提高了数据库的事务吞吐量,并进行了单项性能测试。5.研究了特定数据库编程接口对数据复制性能的影响,包括预编译SQL接口和BULK LOAD接口,并对其性能进行了对比实验验证。6.通过记忆数据库对象的复制状态、机器结构的变更历史,实现了真正的数据库日志重播功能。测试结果表明,本文提出的数据库复制数据流框架,能够提高数据库复制的吞吐性能,与基准系统的性能相比较,在不同的测试实验中均取得2倍至10倍的性能提升。
暂无评论