一种解决大数据处理系统中内存资源激烈竞争的系统

专利申请号：CN201610189095.5

公 开 号：CN105868025A

发 明 人：石宣化 金海 裴成 张雄 

代 理 人：曹葆青

代理机构：42201 华中科技大学专利中心

专利类型：发明申请

申 请 日：20160817

公 开 日：20160330

专利主分类号：G06F9/50(20060101)

关 键 词：工作节点 分析模块 激烈竞争 内存使用 内存信息 内存资源 信息采样 采样 内存 任务分发模块 数据处理系统 动态调控 反馈模块 计算操作 决策控制 任务分发 任务运行 有效限制 大数据 通用的 磁盘 线程 感知 溢出 分发 分析 反馈 监测 转化 决策 

摘      要：本发明公开了一种解决大数据处理系统中内存资源激烈竞争的系统，内存信息反馈模块用于对运行中的线程任务进行内存使用情况的监测，并将收集的内存信息转化后反馈给信息采样与分析模块；信息采样与分析模块用于动态调控各个工作节点信息的采样次数，并且达到指定的采样次数后对数据进行分析，计算出当前工作节点的最佳CPU与内存比例；决策与任务分发模块根据分析得到的信息和当前工作节点的任务运行信息，决策控制是否分发新的任务到工作节点进行计算操作，实现对CPU与内存使用关系的有效限制。本发明能够在通用的大数据平台上实现内存感知的任务分发机制，降低内存资源激烈竞争所导致的数据溢出到磁盘的I/O开销，并且有效提高系统的整体性能。