检索结果-内蒙古大学图书馆

西安电子科技大学学报 2020年第6期47卷 139-147页

作者：张璐孙蓉刘景伟西安电子科技大学综合业务网理论及关键技术国家重点实验室陕西西安710071 华侨大学厦门市移动多媒体通信重点实验室福建厦门361021 西安电子科技大学陕西省区块链与安全计算重点实验室陕西西安710071

随着5G技术的快速发展,分布式存储系统凭借低成本、高可用性、高吞吐量和海量存储能力等特点,越来越受到人们的青睐。由于节点众多,节点故障频发,因此采用一定的数据容错技术来保证数据的可靠性尤为重要。近年来,piggybacking框架以其... 详细信息

随着5G技术的快速发展,分布式存储系统凭借低成本、高可用性、高吞吐量和海量存储能力等特点,越来越受到人们的青睐。由于节点众多,节点故障频发,因此采用一定的数据容错技术来保证数据的可靠性尤为重要。近年来,piggybacking框架以其优异的修复性质受到了广泛关注。从piggybacking框架的修复度入手,为了同时降低修复带宽和修复度,提出了克隆piggybacking框架。与其他piggybacking框架不同,该框架只对一组节点进行嵌入设计和修复分析,其他组内对应节点通过克隆的方式简化设计过程。根据“一个节点的信息符号尽可能地只嵌入一个子条带”的设计思想,权衡修复带宽和修复度。与现有的piggybacking框架相比,克隆piggybacking框架设计简单,进一步降低了信息节点的修复带宽。

关键词：分布式存储 piggybacking框架修复带宽修复度

来源：评论

学校读者我要写书评

暂无评论

分布式存储中新型分组piggybacking框架

引用

西安电子科技大学学报 2023年第3期50卷 132-141页

作者：王禹博孙蓉刘景伟西安电子科技大学空天地一体化综合业务网全国重点实验室陕西西安710071 华侨大学厦门市移动多媒体通信重点实验室福建厦门361021 西安电子科技大学陕西省区块链与安全计算重点实验室陕西西安710071

随着互联网技术的快速发展,全球数据量爆炸式增长对分布式存储系统的可靠性和可用性提出了严峻的挑战。piggybacking框架作为一种高效的数据容错技术成为近年来研究的热点。目前,绝大多数piggybacking框架均以牺牲子条带数和修复度的方... 详细信息

随着互联网技术的快速发展,全球数据量爆炸式增长对分布式存储系统的可靠性和可用性提出了严峻的挑战。piggybacking框架作为一种高效的数据容错技术成为近年来研究的热点。目前,绝大多数piggybacking框架均以牺牲子条带数和修复度的方式来降低修复带宽,导致修复失效节点过程中所节省的数据量通常无法有效地提升磁盘读取效率。针对上述情况,提出一种新型分组piggybacking框架,在保证较低修复带宽的同时,进一步降低了子条带数和信息节点修复度,从而提升分布式存储系统的输入/输出性能。该框架将校验节点分为两个部分,信息符号和校验符号分别按照一定规则分组后依次嵌入到对应的校验节点中,设计简单。通过这种设计,可以同时有效修复信息节点和校验节点,既减少了子条带数,又使其在校验节点个数较多时拥有较强的综合修复能力。与其他piggybacking框架相比,新型分组piggybacking框架能更好地权衡修复带宽、修复度与子条带数,适合在实际系统中应用。

关键词：分布式存储 piggybacking框架子条带数修复度修复带宽

来源：评论

学校读者我要写书评

暂无评论

分布式存储中piggybacking框架研究

分布式存储中piggybacking框架研究

引用

作者：范英杰西安电子科技大学

学位级别：硕士

现代数据中心通过在许多存储服务器上运行分布式存储系统,来提供存储服务,这些服务器经常出现故障。为了确保数据的可用性和可靠性,分布式存储系统要么采用副本机制(每个块存储多个副本),要么采用纠删码(多个数据块被编码成一组编码块)... 详细信息

现代数据中心通过在许多存储服务器上运行分布式存储系统,来提供存储服务,这些服务器经常出现故障。为了确保数据的可用性和可靠性,分布式存储系统要么采用副本机制(每个块存储多个副本),要么采用纠删码(多个数据块被编码成一组编码块),这样,一个不可用的数据块可以由整个编码块的子集恢复。与副本机制相比,纠删码能以更低的存储开销来提供数据可靠性,因此,许多分布式存储系统都采用纠删码技术来提供可靠的存储服务。然而,纠删码有一个明显缺点。纠删码在重构一个不可用的数据块时会产生很高的修复开销,在网络上传输的数据比需要恢复的原始数据块大得多,从而导致修复性能较差。piggybacking框架能够比较好地解决这一问题,同时满足MDS性质、高码率和少量子条带,这很好地平衡了编码理论和实际分布式存储系统的要求。本文致力于通过基于piggybacking框架的编码理论研究,解决分布式存储编码面临的修复问题。我们首先关注于如何均衡地修复信息节点和校验节点,以降低全节点的平均修复开销。通过设计一个一般性的piggybacking编码,并分析影响其修复性能的关键因素,我们提出了一个具体的piggybacking编码构造,并分析了该构造的修复开销的下界。分析表明,我们的piggybacking编码有效降低了全节点的平均修复带宽率。然后,我们将重点放在降低现有piggybacking编码的校验节点修复开销上。利用广义转换这一工具,对REPB码进行校验节点修复的优化,我们得到了校验节点修复达到MSR码界的piggybacking编码,称为GREPB码。通过扩展REPB码的实例个数,并在校验节点内进行置换和成对的线性变换,GREPB码能够有效降低校验节点的修复开销,同时,其信息节点修复开销和底层REPB码相同。性能分析表明,GREPB码的校验节点和全节点平均修复开销非常低,但这是以子条带数成倍增加为代价的。最后,我们基于实际系统的要求,重点关注在低子条带数的前提下,如何设计高效修复的纠删码。通过以REPB码作为底层码,进行额外的piggybacking操作,我们得到了一种既能高效修复信息节点和校验节点,又同时满足根号级子条带数的piggybacking编码,称为NREPB码。性能分析表明,NREPB码在保持高效修复信息节点的同时,降低了校验节点和全节点的平均修复开销,同时保证了较低的子条带数。

关键词：分布式存储纠删码 piggybacking框架带宽和I/O

来源：评论

学校读者我要写书评

暂无评论

一种均衡分配的修复校验节点的Piggybacks捎带设计

引用

电子学报 2021年第4期49卷 812-816页

作者：周悦李贵洋韩鸿宇李慧胡金平四川师范大学计算机科学学院四川成都610101

针对最初的减少校验节点修复带宽的Piggybacks捎带设计存在的问题,提出了一种均衡分配的Piggybacks捎带设计(Balanced-Allocation Piggybacks Adding,BAPA).首先,通过分析给出了新的Piggybacks捎带规则,在此基础上得出了能进一步减少校... 详细信息

针对最初的减少校验节点修复带宽的Piggybacks捎带设计存在的问题,提出了一种均衡分配的Piggybacks捎带设计(Balanced-Allocation Piggybacks Adding,BAPA).首先,通过分析给出了新的Piggybacks捎带规则,在此基础上得出了能进一步减少校验节点修复带宽的piggybacking设计BARSR-Ⅰ和BARSR-Ⅱ.然后,给出了BARSR-Ⅰ和BARSR-Ⅱ中校验节点的修复过程以及平均修复带宽率的推导值.最后,给出了BARSR-Ⅰ和BARSR-Ⅱ下的编码复杂度和修复复杂度.通过与现有的piggybacking设计对比分析表明,BARSR-Ⅰ和BARSR-Ⅱ能有效的减少校验节点的修复带宽.

关键词：分布式存储系统 piggybacking框架校验节点 RSR-Ⅰ RSR-Ⅱ 平均修复带宽率

来源：评论

学校读者我要写书评

暂无评论

面向分布式云存储的数据编码优化研究

面向分布式云存储的数据编码优化研究

引用

作者：刘帅帅长安大学

学位级别：硕士

在大数据时代背景下,对海量数据进行安全可靠的存储成为行业的研究热点,分布式存储系统因其突出的优势成为海量数据存储的主流系统。为了应对频繁发生的节点故障、确保数据存储的可靠性,分布式存储系统中采用了多种容错策略。由于传统... 详细信息

在大数据时代背景下,对海量数据进行安全可靠的存储成为行业的研究热点,分布式存储系统因其突出的优势成为海量数据存储的主流系统。为了应对频繁发生的节点故障、确保数据存储的可靠性,分布式存储系统中采用了多种容错策略。由于传统的副本策略和纠删码策略各自存在不足,基于网络编码的可靠存储策略日益受到青睐。局部修复码(Local Repairable Codes,LRCs)能够有效降低故障节点修复过程中的磁盘I/O开销,扇区错误编码进一步将扇区错误与磁盘错误区分开来处理,以提高系统的修复效率,piggybacking编码则能够在保持基本码性质不变的前提下有效减小修复带宽。为了对故障节点进行高效修复,本文在现有研究的基础上,提出三种性能更优的编码方案,具体研究内容如下: (1)针对目前具有(r,t)局部性的局部修复码码率较低且构造过程中计算复杂度过高的问题,提出一种基于正交拉丁方的二元局部修复码的构造方法,构造得到的具有全符号局部性LRCs的码率和码长渐近边界条件,且信息位具有(r,t(28)2)局部性的单校验LRCs的最小距离和码率均满足最优边界条件,为最优局部修复码;为了适应系统可靠性需求,进一步利用正交拉丁方完备组构造了具有信息位局部性的高可用性单校验LRCs,可以灵活地选择可用性t,提高了系统的鲁棒性与灵活性。 (2)针对现有扇区错误编码存在的磁盘利用率低、计算复杂度较高的问题,利用Howell设计临界集的性质构造了一种新型扇区错误编码,并对其容错性、磁盘利用率和计算复杂度等性能进行了分析,通过与现有的扇区错误编码对比发现,本文构造的扇区错误编码的磁盘利用率较高且计算复杂度较低,具有较好的实用性。 (3)针对现有piggybacking框架存在的子条带数目较多和故障节点修复度较大的问题,提出一种低修复度的piggybacking框架,利用将一个子条带中的符号只嵌入其对应子条带的思想,在保持较低修复度的情况下尽可能减小故障节点的修复带宽,且能够同时有效修复信息节点和校验节点。与其它能够有效修复所有节点的piggybacking框架相比,该框架的平均修复度比率最低,且子条带数目较少,更加适用于实际的分布式存储系统。

关键词：分布式存储局部修复码扇区错误 piggybacking框架节点修复

来源：评论

学校读者我要写书评

暂无评论

分布式存储系统中基于系统型MDS码的piggybacking设计研究

分布式存储系统中基于系统型MDS码的Piggybacking设计研究

引用

作者：周悦四川师范大学

学位级别：硕士

海量数据时代下的分布式存储系统中越来越多的引入纠删码来保证数据的可用性和可靠性。随着存储系统规模的不断扩大,存储节点失效的现象也变得越来越普遍,然而,纠删码在修复失效节点期间存在着带宽消耗较大的问题,为了解决上述问题,Pigg... 详细信息

海量数据时代下的分布式存储系统中越来越多的引入纠删码来保证数据的可用性和可靠性。随着存储系统规模的不断扩大,存储节点失效的现象也变得越来越普遍,然而,纠删码在修复失效节点期间存在着带宽消耗较大的问题,为了解决上述问题,piggybacking框架被提出,并因其拥有MDS性质、高码率、较低的实例数、较低的修复带宽等优点而备受关注。基于piggybacking框架在已有的纠删码上进行piggybacking设计,可以减少失效节点修复期间的数据下载量,节省带宽资源。本文结合系统型MDS码,研究了目前基于piggybacking框架的几种主流的piggybacking设计,通过分析其中的编码构造和失效节点的修复算法,发现了部分修复失效节点的piggybacking设计存在的缺陷,并分别针对系统节点和校验节点的修复,提出了改进和创新的piggybacking设计。本文主要包括以下研究内容:(1)提出了一种改进的修复系统节点的piggybacking设计。piggybacking设计中的RSR-Ⅱ能有效地减少系统节点的修复带宽,但存在编码复杂度和修复复杂度较高的问题。通过优化捎带规则,提出了一种改进的piggybacking设计(Ⅰmproved piggybacking Design,ⅠPBD),并且与RSR-Ⅱ进行对比分析表明,ⅠPBD在保持了与RSR-Ⅱ具有相同的平均修复带宽率的同时,降低了编码复杂度和修复复杂度。(2)提出了一种嵌套的修复系统节点的piggybacking设计。piggybacking设计中的REPB具有编解码快速高效的特点,通过结合跨实例进行捎带的想法,利用REPB的编码构造,提出了一种嵌套的高效修复的piggybacking设计(Nested Repair Efficient piggybacking,NREPB),对比分析表明,NREPB相比REPB能进一步减少系统节点的修复带宽。(3)提出了一种均衡分配的修复校验节点的捎带设计。最初的捎带设计OPD能有效的减少RSR-Ⅰ和RSR-Ⅱ中校验节点的修复带宽,考虑到跨实例间进行捎带时的均衡性,提出了一种均衡分配的捎带设计(Balanced Allocation Piggyback Design,BAPD),通过分析RSR-Ⅰ和RSR-Ⅱ中系统节点的修复过程,给出了新的捎带规则,并将BAPD与OPD的捎带规则分别应用于RSR-Ⅰ和RSR-Ⅱ可得出,BAPD能进一步降低RSR-Ⅰ和RSR-Ⅱ中校验节点的修复带宽。

关键词：分布式存储系统纠删码 piggybacking框架系统型MDS码平均修复带宽率编码复杂度修复复杂度

来源：评论

学校读者我要写书评

暂无评论

分布式存储中的低带宽可扩展折叠码

分布式存储中的低带宽可扩展折叠码

引用

作者：杜从军西安电子科技大学

学位级别：硕士

基于纠删码的分布式存储系统以其高可靠性、易扩展性及巨大的存储潜力等优点成为大数据存储的关键系统。随着数据的爆发式增长以及用户需求的提高,存储系统需要采用一定的扩容机制进行扩展,以提高系统的存储能力、优化扩容期间的带宽开... 详细信息

基于纠删码的分布式存储系统以其高可靠性、易扩展性及巨大的存储潜力等优点成为大数据存储的关键系统。随着数据的爆发式增长以及用户需求的提高,存储系统需要采用一定的扩容机制进行扩展,以提高系统的存储能力、优化扩容期间的带宽开销。理想情况下存储系统的编码参数应该是可以根据应用需求进行动态调整的。传统的编码方案由于扩展前后的码在编码结构上不具有相关性,其在进行扩展时需要获取全部的信息数据然后根据新的编码结构进行重新编码才能完成系统的扩展过程,这会造成大量的带宽资源消耗,对集群的操作产生不利影响。本文对基于纠删码的分布式存储系统的扩展问题进行分析,提出一种子码结构具备相关性、可以有效降低扩展期间带宽资源消耗、能够进行多次扩展的折叠码,其相比传统纠删码的扩展方法可以减少至少一半的信息数据传输量。另外,本文以折叠码为基本码通过结合piggybacking框架构造了一种可同时降低修复带宽和扩展带宽的低修复带宽piggybacking折叠码,低修复带宽piggybacking折叠码具有更优的综合性能,能够为分布式存储系统提供更高的可靠性和可扩展性。首先,本文简要概述了现有存储系统存在的问题,介绍了部分现有的关于分布式存储系统修复和扩展的研究。其次,本文对基于MDS码的存储系统的基本原理及其扩展问题进行了概述,并给出了一种根据MDS长码的生成矩阵构造具备MDS性质的短码的方法;另外,对可有效降低系统修复带宽的piggybacking框架的基本原理进行了介绍。再次,本文针对传统MDS码扩展带宽高的问题,提出一种可有效降低扩展带宽、支持系统进行多次扩展的折叠码。基于折叠码的存储系统在进行扩展时能够利用被迁移的数据完成校验符号的更新,不必读取全部的信息数据,这减少了一半的信息数据读取量。另外本文对折叠码的可收缩性进行了讨论,经分析得出折叠码在从长码向短码进行转换时依旧具备不错的表现,其收缩带宽要低于传统MDS码的收缩带宽。然后,在折叠码的基础上通过融入piggybacking框架,提出一种低修复带宽piggybacking折叠码,其保留了折叠码扩展带宽低的特性,同时达到了降低失效节点修复带宽的目的。经分析得出,随着初始系统校验节点数量的增大,该方案的修复带宽比可以趋近于0.5。该方案对于将折叠码作为扩展框架进行编码方案的设计具有一定的参考意义。最后,本文对提出的两种编码方案与现有的几种方案进行了对比。

关键词：分布式存储折叠码 piggybacking框架修复带宽扩展带宽

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：