数据同步方法、装置、设备及计算机可读存储介质

专利申请号：CN202310835733.6

公 开 号：CN116595101B

发 明 人：唐立志 罗英群 肖飞秋 

代 理 人：深圳市世纪恒程知识产权代理事务所杨培权

代理机构：深圳市世纪恒程知识产权代理事务所

专利类型：发明专利

申 请 日：20231024

公 开 日：20230710

专利主分类号：G06F16/27

关 键 词：数据记录 数据同步 字段类型 目标数据 预设格式 原始数据 预设 字段 计算机可读存储介质 读取 数据同步框架 数据源 系列化 记录 申请 写入 转换 更新 

摘      要：本申请公开了一种数据同步方法、装置、设备及计算机可读存储介质，所述数据同步方法应用于数据同步框架，所述数据同步方法包括：从原始数据表中读取至少一条数据记录，确定所述数据记录包括的原始数据字段；确定所述原始数据字段的原始字段类型，将所述原始字段类型转换为预设格式的目标字段类型，以所述目标字段类型更新所述数据记录得到目标数据记录，其中，所述预设格式包括数据系列化系统Avro格式；将所述目标数据记录写入预设目的表，以将所述原始数据表中的数据记录同步至所述预设目的表中。本申请基于DataX实现了其他数据源与Hudi之间的数据同步。