数据处理系统、方法、装置及存储介质

专利申请号：CN202011594743.8

公 开 号：CN112685438B

发 明 人：刘中军 王雪磊 

代 理 人：北京三高永信知识产权代理有限责任公司谢冬寒

代理机构：北京三高永信知识产权代理有限责任公司

专利类型：发明专利

申 请 日：20230324

公 开 日：20201229

专利主分类号：G06F16/242

关 键 词：数据计算 算子 数据处理请求 数据处理系统 数据处理流程 数据计算过程 存储介质 数据过滤 运算逻辑 大数据 复杂度 驱动端 申请 过滤 响应 管理 

摘      要：本申请实施例公开了一种数据处理系统、方法、装置及存储介质，属于大数据技术领域。在本申请实施例提供的数据处理系统中，驱动端可以响应于数据处理请求向目标执行端下发RDD算子，基于该RDD算子所指示的数据处理流程，目标执行端会向自身所管理的多个块中各个块下发数据过滤算子，以将数据处理请求中的运算逻辑下推至各个块中。如此，在数据计算过程中，目标执行端仅仅需要基于各个块过滤后的数据进行数据计算即可，无需基于各个块中全部数据来进行数据计算，从而降低了数据计算的复杂度，进而提高了数据计算的效率。