版权所有：内蒙古大学图书馆 技术提供：维普资讯• 智图
内蒙古自治区呼和浩特市赛罕区大学西街235号 邮编: 010021
一种基于映射‑归约计算模型的洗牌数据缓存方法
专利申请号：CN201610712705.5
公 开 号：CN106371919A
代 理 人：张宁展
代理机构：31213 上海新天专利代理有限公司
专利类型：发明申请
申 请 日：20170201
公 开 日：20160824
专利主分类号：G06F9/50(20060101)
关 键 词：映射 归约 洗牌 缓存主机 分布式计算框架 内存 计算模型 计算性能 手动设置 数据采用 数据缓存 随机算法 哈希表 检查点 鲁棒性 时间戳 保存 集群
摘 要：本发明公开了一种基于映射‑归约计算模型的洗牌数据缓存方法，包括映射‑归约计算框架将一个映射‑归约工作按任务为单位的划分通过接口发送到洗牌缓存主机，洗牌缓存主机接收到任务划分数据后，加上时间戳保存在本地内存中；洗牌缓存主机对任务划分数据采用随机算法将其中的归约任务与集群的各个节点做一个一对三的映射，并以哈希表的形式保存在洗牌缓存主机的内存中等步骤。本发明能够提升基于映射‑归约模型的分布式计算框架的计算性能，避免低效的用户手动设置检查点，提升分布式计算框架的鲁棒性。
