一种数据库转换与清洗信息处理方法

专利申请号：CN201010287971.0

公 开 号：CN102411569A

发 明 人：雷发晶 

代 理 人：赵继明

代理机构：31225 上海科盛知识产权代理有限公司

专利类型：发明申请

申 请 日：20120411

公 开 日：20100920

专利主分类号：G06F17/30(20060101)

关 键 词：目标数据表 目标数据库 更新时间 数据源 一致性和完整性 信息处理方法 数据库转换 设定时间 数据清洗 增量更新 遗漏 筛选 大于 连接 约束 

摘      要：本发明涉及一种数据库转换与清洗信息处理方法，包括：1)目标数据库连接至数据源；2)选择目标数据库中需要清洗的目标数据表；3)选择更新方式，若为增量更新，则执行步骤4)；若为全量更新，则执行步骤10)；4)获得目标数据表中最大的更新时间last_update，若目标数据表为空，则last_update默认为设定时间；5)筛选数据源中更新时间大于last_update的所有记录至一个临时表temp_table中；6)采用目标数据表中的约束字段来剔除临时表temp_table中的重复记录；7)通过目标数据表与临时表temp_table比较，得到临时表temp_table中已存在于目标数据表中的记录；等步骤。与现有技术相比，本发明具有有效避免在数据清洗过程中的数据重复和遗漏问题，保证数据的一致性和完整性等优点。