一种分布式文件系统文件数据块传输效率优化方法及系统

专利申请号：CN201910896067.0

公 开 号：CN110851399B

发 明 人：张东东 

代 理 人：济南舜源专利事务所有限公司张亮

代理机构：济南舜源专利事务所有限公司

专利类型：发明专利

申 请 日：20221125

公 开 日：20190922

专利主分类号：G06F16/14

关 键 词：线程池 文件数据块 传输效率 任务完成 数据节点 数据块 线程 主元 分布式文件系统 读取 数据传输效率 元数据信息 查询请求 发送文件 负载均衡 集群系统 任务分配 文件下载 重新执行 读写 放入 下载 算法 写入 分解 中断 释放 返回 检测 优化 保证 

摘      要：本发明提供一种分布式文件系统文件数据块传输效率优化方法及系统，包括如下步骤：向主元数据节点发送文件查询请求；获取主元数据节点返回的数据块元数据信息；将数据块分解成设定长度值个区域同时生成对应的获取自身任务锁的任务线程并将所述的任务线程放入线程池；检测到线程池中有任务完成时释放任务锁将任务重新命名再重新执行任务分配；直至线程池所有任务完成，文件下载完毕.通过采用一个写入多个读取的读写算法，不暂停所有任务，只需暂停最大的任务，不中断下载，保证了负载均衡和数据传输效率，使文件数据块传输效率提高，提高集群系统性能。