咨询与建议

看过本文的还看了

相关文献

该作者的其他文献

文献详情 >数据同步方法、装置、设备及计算机可读存储介质 收藏
数据同步方法、装置、设备及计算机可读存储介质

数据同步方法、装置、设备及计算机可读存储介质

专利申请号:CN202310835733.6

公 开 号:CN116595101B

发 明 人:唐立志 罗英群 肖飞秋 

代 理 人:深圳市世纪恒程知识产权代理事务所杨培权

代理机构:深圳市世纪恒程知识产权代理事务所

专利类型:发明专利

申 请 日:20231024

公 开 日:20230710

专利主分类号:G06F16/27

关 键 词:数据记录 数据同步 字段类型 目标数据 预设格式 原始数据 预设 字段 计算机可读存储介质 读取 数据同步框架 数据源 系列化 记录 申请 写入 转换 更新 

摘      要:本申请公开了一种数据同步方法、装置、设备及计算机可读存储介质,所述数据同步方法应用于数据同步框架,所述数据同步方法包括:从原始数据表中读取至少一条数据记录,确定所述数据记录包括的原始数据字段;确定所述原始数据字段的原始字段类型,将所述原始字段类型转换为预设格式的目标字段类型,以所述目标字段类型更新所述数据记录得到目标数据记录,其中,所述预设格式包括数据系列化系统Avro格式;将所述目标数据记录写入预设目的表,以将所述原始数据表中的数据记录同步至所述预设目的表中。本申请基于DataX实现了其他数据源与Hudi之间的数据同步。

读者评论 与其他读者分享你的观点

用户名:未登录
我的评分