用户感知的重复数据删除算法

作     者：张沪寅 周景才 陈毅波 查文亮 ZHANG Hu-Yin;ZHOU Jing-Cai;CHEN Yi-Bo;ZHA Wen-Liang

作者机构：武汉大学计算机学院湖北武汉430072 深圳华为技术有限公司IT标准与专利部广东深圳518219 国网湖南省电力公司信息通信公司湖南长沙410000 

出 版 物：《软件学报》 (Journal of Software)

年 卷 期：2015年第26卷第10期

页      面：2581-2595页

核心收录：

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61272454) 高等学校博士学科点专项科研基金(20130141110022) 

主　　题：重复数据删除 云计算 虚拟桌面云 I/O性能瓶颈 数据局部性 

摘      要：通过大量的实验分析发现：在云桌面场景下,数据拥有者之间的工作相关度越大,则该用户之间存在重复数据的概率越大.基于该实验结果,提出了用户感知的重复数据删除算法.该算法打破了数据空间局部性特征的限制,实现了以用户为单位的更粗粒度的查重计算,可以在不影响重删率的前提下,减少5-10倍常驻内存指纹的数量,并可将每次查重计算的指纹检索范围控制在一个常数范围内,不随数据总量的增加而线性增加,从而有效避免了因为数据总量增加而导致内存不足的问题.除此之外,该算法还能根据存储系统的负载情况自动调整重复指纹检索范围,在性能与重删率之间加以平衡,从而更好地满足主存储场景的需要.原型验证表明,该算法可以很好地解决云计算场景下海量数据的重复数据删除性能问题.与Open Dedup算法相比,当数据指纹总量超出内存可用空间时,该算法可以表现出巨大的优势,减少200%以上的读磁盘操作,响应速度提升3倍以上.