咨询与建议

看过本文的还看了

相关文献

该作者的其他文献

文献详情 >一种数据库转换与清洗信息处理方法 收藏
一种数据库转换与清洗信息处理方法

一种数据库转换与清洗信息处理方法

专利申请号:CN201010287971.0

公 开 号:CN102411569A

发 明 人:雷发晶 

代 理 人:赵继明

代理机构:31225 上海科盛知识产权代理有限公司

专利类型:发明申请

申 请 日:20120411

公 开 日:20100920

专利主分类号:G06F17/30(20060101)

关 键 词:目标数据表 目标数据库 更新时间 数据源 一致性和完整性 信息处理方法 数据库转换 设定时间 数据清洗 增量更新 遗漏 筛选 大于 连接 约束 

摘      要:本发明涉及一种数据库转换与清洗信息处理方法,包括:1)目标数据库连接至数据源;2)选择目标数据库中需要清洗的目标数据表;3)选择更新方式,若为增量更新,则执行步骤4);若为全量更新,则执行步骤10);4)获得目标数据表中最大的更新时间last_update,若目标数据表为空,则last_update默认为设定时间;5)筛选数据源中更新时间大于last_update的所有记录至一个临时表temp_table中;6)采用目标数据表中的约束字段来剔除临时表temp_table中的重复记录;7)通过目标数据表与临时表temp_table比较,得到临时表temp_table中已存在于目标数据表中的记录;等步骤。与现有技术相比,本发明具有有效避免在数据清洗过程中的数据重复和遗漏问题,保证数据的一致性和完整性等优点。

读者评论 与其他读者分享你的观点

用户名:未登录
我的评分