版权所有:内蒙古大学图书馆 技术提供:维普资讯• 智图
内蒙古自治区呼和浩特市赛罕区大学西街235号 邮编: 010021
专利申请号:CN202310835733.6
公 开 号:CN116595101B
代 理 人:深圳市世纪恒程知识产权代理事务所杨培权
代理机构:深圳市世纪恒程知识产权代理事务所
专利类型:发明专利
申 请 日:20231024
公 开 日:20230710
专利主分类号:G06F16/27
关 键 词:数据记录 数据同步 字段类型 目标数据 预设格式 原始数据 预设 字段 计算机可读存储介质 读取 数据同步框架 数据源 系列化 记录 申请 写入 转换 更新
摘 要:本申请公开了一种数据同步方法、装置、设备及计算机可读存储介质,所述数据同步方法应用于数据同步框架,所述数据同步方法包括:从原始数据表中读取至少一条数据记录,确定所述数据记录包括的原始数据字段;确定所述原始数据字段的原始字段类型,将所述原始字段类型转换为预设格式的目标字段类型,以所述目标字段类型更新所述数据记录得到目标数据记录,其中,所述预设格式包括数据系列化系统Avro格式;将所述目标数据记录写入预设目的表,以将所述原始数据表中的数据记录同步至所述预设目的表中。本申请基于DataX实现了其他数据源与Hudi之间的数据同步。