版权所有:内蒙古大学图书馆 技术提供:维普资讯• 智图
内蒙古自治区呼和浩特市赛罕区大学西街235号 邮编: 010021
专利申请号:CN201010287971.0
公 开 号:CN102411569A
发 明 人:雷发晶
代 理 人:赵继明
代理机构:31225 上海科盛知识产权代理有限公司
专利类型:发明申请
申 请 日:20120411
公 开 日:20100920
专利主分类号:G06F17/30(20060101)
关 键 词:目标数据表 目标数据库 更新时间 数据源 一致性和完整性 信息处理方法 数据库转换 设定时间 数据清洗 增量更新 遗漏 筛选 大于 连接 约束
摘 要:本发明涉及一种数据库转换与清洗信息处理方法,包括:1)目标数据库连接至数据源;2)选择目标数据库中需要清洗的目标数据表;3)选择更新方式,若为增量更新,则执行步骤4);若为全量更新,则执行步骤10);4)获得目标数据表中最大的更新时间last_update,若目标数据表为空,则last_update默认为设定时间;5)筛选数据源中更新时间大于last_update的所有记录至一个临时表temp_table中;6)采用目标数据表中的约束字段来剔除临时表temp_table中的重复记录;7)通过目标数据表与临时表temp_table比较,得到临时表temp_table中已存在于目标数据表中的记录;等步骤。与现有技术相比,本发明具有有效避免在数据清洗过程中的数据重复和遗漏问题,保证数据的一致性和完整性等优点。