版权所有:内蒙古大学图书馆 技术提供:维普资讯• 智图
内蒙古自治区呼和浩特市赛罕区大学西街235号 邮编: 010021
专利申请号:CN201911198742.9
公 开 号:CN110895490A
发 明 人:戴齐
代 理 人:孟金喆
代理机构:11332 北京品源专利代理有限公司
专利类型:发明专利
申 请 日:20200320
公 开 日:20191129
专利主分类号:G06F9/48(20060101)
关 键 词:批处理 预设数据格式 原始数据 数据处理模块 数据读取模块 数据写入模块 预设 读取 处理命令 处理系统 存储介质 独立封装 目标存储 数据存储 数据转换 低成本 读命令 复用性 维护度 写命令 写入 转换 配置
摘 要:本发明实施例公开了一种数据批量处理系统、方法、设备和存储介质。所述系统包括:数据读取模块,用于批处理任务中的原始数据转换为第一预设数据格式,并根据批处理任务中的读命令读取第一预设数据格式的原始数据;数据处理模块,用于基于批处理任务中的处理命令对原始数据进行处理,将处理得到的数据存储至预设列表中;数据写入模块,用于根据批处理任务中的写命令,将预设列表中的数据转换为第二预设数据格式,并将第二预设数据格式的数据写入目标存储容器。其中,数据读取模块、数据处理模块和数据写入模块分别独立封装。以配置化方式实现代码的高可维护度和复用性,以一种简洁高效、较低成本的方式实现对数据的批量处理。