一种基于内存数据比对的改进方法

专利申请号：CN202210952302.3

公 开 号：CN115408425A

发 明 人：赵小刚 邵军 谭新胜 孟保旺 

代 理 人：杜静静

代理机构：南京众联专利代理有限公司

专利类型：发明专利

申 请 日：20221129

公 开 日：20220809

专利主分类号：G06F16/245

关 键 词：内存 目标数据 比对 读取 预设数据 临时存储单元 配置数据存储 数据临时存储 文件数据库 存储单元 动态代理 读取目标 分片存储 技术动态 内存队列 内存数据 数据比对 数据分页 创建源 多线程 索引列 源数据 脚本 宕机 创建 装入 写入 存储 监控 配置 改进 服务 

摘      要：本发明涉及一种基于内存数据比对的改进方法，所述方法包括以下步骤：步骤1：预设数据读取脚本、指定比对索引列、预设数据读取阈值；步骤2：配置hash分片参数、配置数据存储阈值；步骤3：内存中创建目标数据临时存储单元,读取目标数据；步骤4：目标数据hash计算分片存储到内存对应存储单元中；步骤5：目标数据消费、存储到本地文件数据库rocksdb中；步骤6：内存中创建源数据临时存储单元，步骤7：内存源数据监控，步骤8：使用动态代理技术动态创建结果表实例，并将数据比对明细写入；该技术方案采用多线程、基于高效内存队列将数据按批装入内存多次进行对比，同时利用数据分页、分片等技术，从而达到数据的高效比对，有效避免服务宕机现象。