一种数据批量处理系统、方法、设备和存储介质

专利申请号：CN201911198742.9

公 开 号：CN110895490A

发 明 人：戴齐 

代 理 人：孟金喆

代理机构：11332 北京品源专利代理有限公司

专利类型：发明专利

申 请 日：20200320

公 开 日：20191129

专利主分类号：G06F9/48(20060101)

关 键 词：批处理 预设数据格式 原始数据 数据处理模块 数据读取模块 数据写入模块 预设 读取 处理命令 处理系统 存储介质 独立封装 目标存储 数据存储 数据转换 低成本 读命令 复用性 维护度 写命令 写入 转换 配置 

摘      要：本发明实施例公开了一种数据批量处理系统、方法、设备和存储介质。所述系统包括：数据读取模块，用于批处理任务中的原始数据转换为第一预设数据格式，并根据批处理任务中的读命令读取第一预设数据格式的原始数据；数据处理模块，用于基于批处理任务中的处理命令对原始数据进行处理，将处理得到的数据存储至预设列表中；数据写入模块，用于根据批处理任务中的写命令，将预设列表中的数据转换为第二预设数据格式，并将第二预设数据格式的数据写入目标存储容器。其中，数据读取模块、数据处理模块和数据写入模块分别独立封装。以配置化方式实现代码的高可维护度和复用性，以一种简洁高效、较低成本的方式实现对数据的批量处理。