版权所有：内蒙古大学图书馆 技术提供：维普资讯• 智图
内蒙古自治区呼和浩特市赛罕区大学西街235号 邮编: 010021
基于局部更新软件的数据处理方法及装置
专利申请号：CN201610297050.X
公 开 号：CN105956123A
发 明 人：李银苗
代 理 人：韩建伟;张永明
代理机构：11240 北京康信知识产权代理有限责任公司
专利类型：发明申请
申 请 日：20160921
公 开 日：20160503
专利主分类号：G06F17/30(20060101)
关 键 词：数据文件 目标索引 增量数据 目标数据文件 局部更新 主键 索引 读取 关系型数据库 增量数据文件 查询数据库 更新目标 消息队列 数据处理 数据量 匹配 删除 查找
摘 要：本发明公开了一种基于局部更新软件的数据处理方法及装置。其中，该方法包括：从消息队列中读取关系型数据库的增量数据；获取查询数据库中的各个数据文件的索引和增量数据的主键；从各个数据文件的索引中，查找与主键匹配的目标索引；在查找到目标索引的情况下，在确定目标索引所对应的目标数据文件之后，利用增量数据更新目标数据文件，得到增量数据文件，其中，数据文件包括目标数据文件。本发明解决了impala对级别较大的数据量无法进行新增、修改或者删除的局部更新的技术问题。
