分布式存储系统作为数据存储的载体,广泛应用于大数据领域.纠删码存储方式相对副本方式,既具有较高的空间利用效率,又能保证数据存储的可靠性,因此被越来多的应用于存储系统当中.在EB级大规模纠删码分布式存储系统中,元数据管理成本较大,位置信息等元数据查询效率影响了I O时延和吞吐量.基于位置信息记录的有中心数据放置算法需要频繁访问元数据服务器,导致性能优化受限,基于Hash映射的无中心数据放置算法越来越多地得到应用.但面向纠删码的无中心放置算法,在节点变更和数据恢复过程中,存在位置变更困难、迁移数据量大、数据恢复和迁移并发度低等问题.提出了一种基于条带的一致性Hash数据放置算法(consistent Hash data placement algorithm based on stripe,SCHash),SCHash以条带为单位放置数据,通过把数据块到节点的映射转化为条带到节点组的映射过程,减少节点变动过程中的数据迁移量,从而在恢复过程中降低了变动数据的比例,加速了恢复带宽.并基于SCHash算法设计了一种基于条带的并发I O调度恢复策略,通过避免选取同一节点的数据块进行I O操作,提升了I O并行度,通过调度恢复I O和迁移I O的执行顺序,减少了数据恢复的执行时间.相比APHash数据放置算法,SCHash在数据恢复过程中,减少了46.71%~85.28%数据的迁移.在条带内重建时,恢复带宽提升了48.16%,在条带外节点重建时,恢复带宽提升了138.44%.
针对现场可编程门阵列(FPGA)原型系统中内存刷新频率过高导致内存延迟变大的问题,提出了一种校准处理器FPGA原型系统性能的方法,搭建了一个精确的FPGA原型性能验证平台,可用于硅前快速准确地评估处理器系统性能。问题的根本原因是FPGA原型系统同时存在真实墙上时钟和由运行频率降低导致的伪墙上时钟,且在内存系统中刷新和访问请求分别按照两个时钟进行,然而真实机器上这两种请求都是按照真墙上时钟进行,因此FPGA内存系统有性能误差。本文通过将两个墙上时钟分离来实现校准,该校准方法准确度高、通用性强,校准后的FPGA原型系统运行SPEC CPU 2006基准测试程序性能分值平均误差由7.49%降至0.36%,最高误差降至2%以下,可快速有效地指导硅前性能优化。
暂无评论