一种具备全链路反压特性的数据同步方法及系统

专利申请号：CN202310379681.6

公 开 号：CN116383308A

发 明 人：赖德朴 王海峰 

代 理 人：陈升华

代理机构：杭州求是专利事务所有限公司

专利类型：发明专利

申 请 日：20230704

公 开 日：20230411

专利主分类号：G06F16/27

关 键 词：链路 路由 异构数据源 复杂模型 结果返回 可配置的 模型分片 配置同步 数据同步 同步转换 响应模式 异步请求 转换逻辑 状态更新 表配置 持久化 数据源 元数据 反压 集群 去重 日志 维度 字段 排序 并行 写入 分发 保证 

摘      要：本发明公开了一种具备全链路反压特性的数据同步方法及系统，包括：配置同步任务的元数据；启动binlog日志的增量同步，选择性进行全量同步；将产生的增删改查事件路由到分布式的并行Stream管道；并以异步请求响应模式按各表配置的维度字段路由分发到Actor模型分片集群中的Actor实体；进行事件持久化和状态更新，以及基于当前状态的复杂转换逻辑，并将结果返回Stream管道；Stream管道对Response事件进行消息批化和排序去重处理；将结果写入Sink数据源，并进行异步ACK机制，保证可靠同步。本发明通过高度可配置的同步任务，可快速实现异构数据源间的复杂模型同步转换，具有链路短、组件少，同步高效的特点。