检索结果-内蒙古大学图书馆

作者：范双全湖南大学

学位级别：硕士

互联网的高速发展使得信息的采集、传播速度和规模都达到了空前的水平,并实现了全球的信息共享与交互。这种爆炸式的数据增长使得数据的存储、传播和处理面临着严峻的挑战,持续产生的庞大数据量给传统的存储系统带来了极大的压力。主动... 详细信息

互联网的高速发展使得信息的采集、传播速度和规模都达到了空前的水平,并实现了全球的信息共享与交互。这种爆炸式的数据增长使得数据的存储、传播和处理面临着严峻的挑战,持续产生的庞大数据量给传统的存储系统带来了极大的压力。主动存储技术是解决现代计算机体系结构中数据传输瓶颈问题的一种有效途径,其基本思想是利用存储端访问数据的高带宽优势,将数据分析人物的处理程序下载到存储系统中执行并将数据的处理结果通过网络传输给客户端,从而减少要传输的数据量,改善网络环境并降低功耗。现已提出并部署多种形式的主动存储系统原型,但缺乏灵活的编程接口与高适应性的任务分配策略。本文实现了一种基于HDFS的主动存储系统AHDFS,其具有常规主动存储的基本特征并且提供了灵活的编程框架。AHDFS提供了与Java输入流类似的实现类ASInputStream,其屏蔽了系统的内部实现细节,使得应用程序能够灵活地调用主动存储系统计算资源。AHDFS采用移动计算的思想,提供了一套基于流的编程模型,应用程序根据相关语法可以灵活地实现需要下载到存储端的数据分析程序。AHDFS开放了任务分配策略的编程接口,便于应用程序根据特定的分配需求在存储端和计算端分配计算任务。合理地根据系统运行时环境在存储端与计算端之间划分数据任务有利于充分利用系统空闲计算资源,而传统的主动存储系统考虑的系统信息不够全面,不能适应各种运行环境。本文提出了一种动态任务分配策略DTAP,并在AHDFS系统上实现。DTAP在分配数据任务时,即考虑了系统运行时内部节点的计算负荷,同时考虑了网络带宽与数据分析任务的特征信息。实验结果表明在系统原型上采用DTAP能使系统适用各种应用环境,取得比传统主动存储系统更优的性能。

关键词：存储主动存储 HDFS 动态任务划分策略

来源：评论

学校读者我要写书评

暂无评论

GPU加速的FastDFS主动存储的研究与实现

GPU加速的FastDFS主动存储的研究与实现

引用

作者：刘文杰湖南大学

学位级别：硕士

随着时代的进步和网络技术的广泛发展,人们对网络越来越依赖。人们所产生的数据都存放在云服务器端,并且越来越多的存储服务需要对存储节点中的数据执行分析、归类、总结等操作。这对网络存储系统的网络带宽提出了更高的需求。本文的主... 详细信息

随着时代的进步和网络技术的广泛发展,人们对网络越来越依赖。人们所产生的数据都存放在云服务器端,并且越来越多的存储服务需要对存储节点中的数据执行分析、归类、总结等操作。这对网络存储系统的网络带宽提出了更高的需求。本文的主要目的是通过研究主动存储机制来提高分布式文件系统FastDFS的存储性能。首先,我们根据主动存储概念设计了适用于FastDFS的主动存储(AS)模型。它采用了传统的C/S模型,我们在客户端和服务器端分别实现了主动存储接口函数,用于实现主动存储机制。但是上述主动存储模型有两个缺点。第一,它只适合于数据过滤型的存储服务,对于其他类型存储服务的加速效果不明显。第二,存储服务器端的计算能力有限。因为CPU不仅需要处理客户端发送的命令,还需要执行对应的计算任务。并且,CPU被设计为主要处理逻辑运算任务,并不擅长数据密集型的计算任务。针对上述的两个缺点,我们对主动存储模型进行了优化,提出了 GPU加速的主动存储(GAS)模型。我们在模型中加入了调用GPU计算能力的并行计算模块,以及解决系统扩展性问题的kernel library模块。通过调用GPU的大规模并行计算能力来增强服务器的计算能力,使它能够适合更多类型的存储服务。在实现过程中,我们使用OpenCL编程语言来调用GPU的通用计算能力。其次,在主动存储框架设计完成后,我们设计并实现了客户端与存储服务器端的通信协议ASCP。并且分别实现了客户端与服务器端的主动存储API。最后,搭建实验平台,对上述的两种模型进行测试。第一,我们进行了主动存储AS模型性能提升测试,实验结果表明AS模型在处理数据过滤型服务时可以取得较好的性能提升。第二,我们进行了 GPU加速的主动存储GAS模型性能提升测试,实验结果表明GAS在处理过滤型存储服务时,性能大幅度提升,比AS模型提升更加明显。在处理计算密集型服务时,获得的性能提升比AS模型也要高很多。

关键词： FastDFS 主动存储 OpenCL ASCP

来源：评论

学校读者我要写书评

暂无评论

面向深度学习的数据读取性能优化技术研究

面向深度学习的数据读取性能优化技术研究

引用

作者：王跃锋浙江大学

学位级别：硕士

作为一种在多层神经网络上通过各种机器学习算法来解决图像、文本等应用问题的方法,深度学习在科学及商用领域得到了广泛的运用。当前的深度学习方法,很大程度上还是依赖于数据驱动,用作训练的数据集越大,在一定程度上就能得到更高的模... 详细信息

作为一种在多层神经网络上通过各种机器学习算法来解决图像、文本等应用问题的方法,深度学习在科学及商用领域得到了广泛的运用。当前的深度学习方法,很大程度上还是依赖于数据驱动,用作训练的数据集越大,在一定程度上就能得到更高的模型准确率。近年来,互联网上可使用的数据资源愈加丰富,模型训练可使用的数据集体积也日益增大,这对存储系统的I/O性能提出了新的挑战。传统的存储介质和存储系统给深度学习训练任务带来了严重的I/O瓶颈,CPU和GPU必须花费大量时间等待将训练数据加载到它们的内存单元中。为了缓解该I/O瓶颈,本文设计了一套面向深度学习的数据读取优化技术,无需对底层存储介质和存储系统进行任何修改,即可提供出色的I/O性能提升。整个面向数据学习的数据读取优化包括三个新颖的设计:1)深度学习数据集的重布局技术——该设计改进了数据集的格式和布局,以避免对小文件进行大量读取。该模块主要可以帮助减少深度学习数据集的元数据管理开销,提高数据集的读取效率。2)面向深度学习训练框架的数据集读取API设计——该技术将一组数据读取API设计到广泛使用的框架中,因此在框架上运行的训练任务可以在不修改模块代码的情况下获得I/O性能的提升。本论文以Py Torch框架为例讨论模块功能,主要用于实现深度学习框架和本文所需的新数据集,实现读取功能。3)管理数据集生命周期的主动存储架构——该技术将部分数据预处理任务卸载到存储节点,计算节点可以节省更多的计算资源用于训练。配合其他两个模块,可以满足深度学习训练任务的shuffle读取和预处理随机增强的需求,同时提供出色的I/O读取效率。基于上述三项创新设计,该套方案有效地提高了深度学习过程中的数据集读取速率,显著缩短了训练时长。本文选用当前主流的图像识别模型Res Net-50作为目标应用,使用Image Net来作为训练用的数据集,实验结果显示整体的训练时间缩短为了原本的三分之一以下。

关键词：深度学习数据集主动存储 I/O读取优化

来源：评论

学校读者我要写书评

暂无评论

Ceph对象文件系统添加任务迁移特性的研究

Ceph对象文件系统添加任务迁移特性的研究

引用

作者：郑传建武汉理工大学

学位级别：硕士

随着云计算、移动互联网等技术的兴起与发展，每天新增信息的增长速度越来越快，人们对能够提供大容量存储的系统的需求越来越迫切。同时，由于越来越多的机密信息和个人隐私存储于网络存储系统中，人们对存储系统的安全性和可靠性也提... 详细信息

随着云计算、移动互联网等技术的兴起与发展，每天新增信息的增长速度越来越快，人们对能够提供大容量存储的系统的需求越来越迫切。同时，由于越来越多的机密信息和个人隐私存储于网络存储系统中，人们对存储系统的安全性和可靠性也提出了更高的要求。然而，传统的基于块接口和文件接口的网络存储系统难以满足新时代的存储需求。基于对象的存储系统应运而生，它同时具备基于块和文件接口的文件系统的优点，可以有效的满足当前的存储需求。对象是基于对象接口的存储系统的核心概念，由文件数据和文件物理层属性信息组合而成的，具有自描述性，基于对象的接口可以提供更加丰富的语义信息，使得系统的自动化和智能化管理成为可能。对象存储设备是对象文件系统最核心的硬件设备，有着较强的计算能力。然而，目前许多成熟的对象文件系统都没有充分利用对象存储设备的计算能力，Ceph就是这样的对象文件系统。本文主要是基于Ceph文件系统，分析研究通过添加方法对象在Ceph系统中添加计算任务迁移的功能，以达到更加充分利用对象存储设备的目的。通过本文研究发现：添加了方法对象实现任务迁移的Ceph系统设备利用率更高、客户端网络负载有所缓解，且客户端体验更佳。本文的主要工作及成果有：（1）学习了对象存储系统的理论及架构，分析了在对象存储系统中添加主动存储的可能性，并确定了本文的研究方向——在Ceph中添加计算任务迁移特性;（2）了解Ceph的起源及发展，分析了Ceph文件系统的架构，对Ceph集群工作原理做了简单阐述;（3）对Ceph读写相关源码进行了深入剖析，重点研究了Ceph集群节点间消息通信、Ceph对象分布策略、Ceph数据一致性维护、数据读及数据写等源码，厘清了整个读写请求的交互流程;（4）提出了在Ceph中添加方法对象实现任务迁移特性的方案，详细介绍了读写任务迁移的实现方法并分析了实施过程中需要考虑的主要问题;（5）详细描述了修改Ceph源码实现任务迁移特性的步骤及重难点、详细描述了三个有代表性的实验并分析总结了Ceph改进后的效果。

关键词：对象文件系统对象存储设备方法对象任务迁移主动存储

来源：评论

学校读者我要写书评

暂无评论

基于分布式对象存储系统的数据自毁研究

基于分布式对象存储系统的数据自毁研究

引用

作者：陈世斌华中科技大学

学位级别：硕士

随着互联网技术的发展以及移动互联网的普及，人们的日常生活更加强烈地依赖于计算机技术与互联网技术，与此同时，用户的隐私被侵犯的风险越来越高。一方面，现阶段的计算机系统或者网络在处理、传输、存储数据过程中，难免地缓存、复... 详细信息

随着互联网技术的发展以及移动互联网的普及，人们的日常生活更加强烈地依赖于计算机技术与互联网技术，与此同时，用户的隐私被侵犯的风险越来越高。一方面，现阶段的计算机系统或者网络在处理、传输、存储数据过程中，难免地缓存、复制或归档相应数据，这些副本是必然的中间产物，但用户不希望存在这些副本，因为这些中间产物是不可知的也是不可控的；另一方面，用户的隐私信息也会因为服务提供商的疏忽、黑客的入侵或者一些合法手段而被泄露。这些问题对如何保护人们的隐私信息提出了挑战。 Vanish数据自毁系统的开创性研究为隐私信息共享和保护提供了新思路。针对Vanish系统容易受到一些利用P2P特性的特定攻击方法的攻击以及密钥生存时间不可控的弊端，设计并实现了基于主动存储技术的支持数据自毁的分布式对象存储系统。通过方法对象使得密钥等份对应的对象能够执行自毁方法，通过策略对象来设置密钥等份的生存时间从而自动执行与其关联的自毁方法。经过测试与对比，数据自毁过程在对系统产生较少影响的情况下，能够实现数据自毁，且密钥的生存时间是用户可控的。

关键词：数据自毁主动存储存储安全云存储

来源：评论

学校读者我要写书评

暂无评论

存储系统主动对象实现机制研究

存储系统主动对象实现机制研究

引用

作者：袁艳丽华中科技大学

学位级别：硕士

对象存储是一种新兴的网络存储接口,它可以很好地解决附网存储(Network-attached Storage,NAS)和存储区域网(Storage Area Network,SAN)这两种网络存储结构的缺点,集合它们的优点,使得对象文件系统具有高性能,可靠性,可扩展性,智能性。... 详细信息

对象存储是一种新兴的网络存储接口,它可以很好地解决附网存储(Network-attached Storage,NAS)和存储区域网(Storage Area Network,SAN)这两种网络存储结构的缺点,集合它们的优点,使得对象文件系统具有高性能,可靠性,可扩展性,智能性。另一方面,随着技术发展,存储设备上集成了越来越多的计算能力。利用存储系统中存储设备上的计算能力使得人们不断将对数据的处理放到离数据最近的地方,也就产生了主动存储的概念。主动存储使得用户操作可以方便地放到存储设备上进行,因此可以减少网络上传输的数据量,利用整个系统的处理能力,为用户带来性能的提升。以往的主动存储接口往往为文件或者块。存储设备对这两者都缺乏理解,因此主动存储的功能和可扩展性受到了极大的限制。对象接口的出现为主动存储的发展提供了良好的机会。在对象存储系统中实现主动存储,通过扩展国际标准T10 OSD(Object-based Storage Device)命令,设计并实现两种主动对象:方法对象和策略对象。方法对象分为两种:用户方法对象与系统方法对象。用户方法对象用于操作普通用户数据对象,由用户的读写请求触发执行,而系统方法对象用于根据策略对象与系统运行情况对系统进行自我管理。策略对象是一系列条件的集合,是系统方法对象自动执行的基础。主动对象可以很好在对象存储系统中实现主动存储框架及主动对象。实验测试结果证明,将方法对象下放到存储设备上,可以通过减小网络数据传输量,缩短用户响应时间,大幅提升系统性能,策略对象与方法对象的结合使得系统可以实现自动数据迁移,提升系统智能性。

关键词：对象存储系统主动存储方法对象策略对象

来源：评论

学校读者我要写书评

暂无评论

入侵检测系统研究

入侵检测系统研究

引用

作者：庞震复旦大学

学位级别：硕士

入侵检测技术作为一种重要的安全技术,日益得到广泛的应用和深入的研究。存储级入侵检测是入侵检测体系重要的组成部分之一,是目前具有一定挑战性的研究热点,它通过收集计算机存储器的操作数据,尽可能实时地发现非法入侵。攻击模型和匹... 详细信息

入侵检测技术作为一种重要的安全技术,日益得到广泛的应用和深入的研究。存储级入侵检测是入侵检测体系重要的组成部分之一,是目前具有一定挑战性的研究热点,它通过收集计算机存储器的操作数据,尽可能实时地发现非法入侵。攻击模型和匹配方法是存储级入侵检测系统研究中最重要的两个方面,因此本文主要针对这两方面进行研究工作。研究内容主要包括：基于判定树分类的攻击模式自动生成、基于D-S证据理论的异常检测特征融合算法,以及不同种类IDS之间基于协作的联合防御,从而提高存储级入侵检测系统的检测能力、检测精度和检测效率。本文主要工作如下： 1、提出判定树分类生成算法,进而给出攻击模式自动生成的方法。攻击模型是误用检测的重要因素,决定着存储级IDS的检测率和误报率。为获得合理有效的攻击模型,本文将攻击模型化理论应用于存储级IDS攻击模型的建立,扩展判定树模型,使得攻击模型更准确、全面地描述攻击,并能够重用、共享。进而提出判定树分类生成算法,使得模型可以自动产生。为验证模型和算法的有效性,分别以模拟平台收集的存储操作数据进行实验,实验结果表明,模型和算法是有效的,此外,模型还具有可重用、自动生成等优点。 2、提出六组计算代价小特征,采用D-S证据理论进行融合,从而做出评判。异常检测的研究核心在于建立完备、准确的正常行为模型。在对系统正常运行和异常运行条件下采集到的数据进行综合分析的基础上,本文提出了六组存储操作数据的计算代价较小的关键特征,并采用D-S证据理论融合在这些特征上得到的观察从而做出综合评判。选取计算代价小的特征以及高效的融合规则,保证了算法的性能满足高速检测的要求。 3、提出一种不同层级IDS间联合防御方法。本文提出一种IDS间通过协作进行联合防御的方法,模拟人类社会解决问题的过程。协作分为两种模式：主动防御模式是指入侵受害者所属的管辖IDS将入侵情况发送给入侵者所属的管辖IDS,由后者采取措施阻止攻击行为的继续；通知预警模式是指当一个IDS发现某种攻击行为后,将这种情况通知其熟人IDS,使后者能够提前采取措施,采取预防措施。除此以外,针对入侵检测系统的研究特点,本文进行了存储级入侵检测研究框架的研究、采集和分析了存储操作数据。最后,本文设计实验进一步验证了提出模型、算法等的正确性。存储入侵检测技术还有许多问题值得探讨,本文的工作只是一个探索,还有待今后进一步的深入研究。

关键词：入侵检测系统攻击模式检测模型主动存储判定树分类 D-S证据理论证据理论信息融合

来源：评论

学校读者我要写书评

暂无评论

对象存储控制器关键技术研究

对象存储控制器关键技术研究

引用

作者：何水兵华中科技大学

学位级别：博士

对象存储系统结合了附网存储和存储区域网的优点,已成为网络存储领域研究的热点。对象存储系统由客户端、元数据服务器、对象存储设备和互连网络组成,其中对象存储设备是对象存储系统的核心。在大规模的PB级对象存储系统中,一般存在成... 详细信息

对象存储系统结合了附网存储和存储区域网的优点,已成为网络存储领域研究的热点。对象存储系统由客户端、元数据服务器、对象存储设备和互连网络组成,其中对象存储设备是对象存储系统的核心。在大规模的PB级对象存储系统中,一般存在成千上万自管理的对象存储设备,单个对象存储设备的性能将会对整个对象存储系统的性能产生极大的影响。因此,设计一种高性能的对象存储设备在对象存储研究领域具有重大意义。对象存储控制器是对象存储设备的控制和管理单元,它由硬件平台和存储管理软件组成。对象存储控制器的核心技术主要包括控制器硬件体系结构、对象数据组织、对象数据预取和对象数据智能处理等四方面的关键问题。现有对象存储控制器由于对I/O应用和对象访问的特征考虑不足使得对象控制器在性能方面仍存在缺陷。因此,针对对象控制器四个方面的关键问题设计和实现新的体系结构和方法对于构建高性能的对象存储控制器尤为重要。对象存储控制器的硬件平台是软件运行的基础,它直接决定着控制器的性能。传统对象存储控制器大多数是基于通用的PC平台或者服务器平台,由于它们一般面向计算并不是面向I/O,用它们设计对象存储控制器存在不足,特别是I/O总线可能成为系统性能提高的瓶颈。针对该问题,提出了一种基于交换架构的对象存储控制器体系结构。这种体系结构能够大大提高系统总体通信带宽并且性能具有很好的扩展性。在此基础上,实现了一种基于Intel IOP315的新型专用对象存储控制器。新型对象存储控制器的主要组成是Intel 80314芯片和2个Intel Xscale 80200的高性能低功耗CPU。Intel 80314最重要特征是被设计成为一个任意端口间均能互连的桥,它可以支持任意端口到端口之间的并行数据传输。性能分析表明,由于更多的磁盘可以并行地传输对象数据,新型对象存储控制器可以有效的解决单条I/O总线下的性能瓶颈问题。在硬件平台基础上对象存储控制器利用对象文件系统进行对象组织和管理。许多对象文件系统利用传统本地文件系统管理对象,而结合了对象访问特点的专用对象文件系统具有更好的性能。EBOFS是一种专用对象文件系统,它的高性能很大程度上是通过其对象分配算法在为单个对象分配磁盘空间时尽量使数据在磁盘上连续实现的。然而,EBOFS采用的是一种单粒度对象空间预分配方法,这使得它在交错为多个对象并行分配空间时并不能很好地保持对象内数据的连续性。为了克服EBOFS的不足,提出了一种多粒度对象空间预分配方法。该方法中对象预分配粒度的选择有两种方式:根据用户告知值调整和根据分配时当前对象大小调整。对于事先知道大小的用户对象,该方法为对象建立一个预期对象大小属性,并且用户在创建对象时设置该属性值。在对象空间分配时该方法读取预期对象大小属性并尽量按该值预分配整个对象大小空间。对于事先不知道大小的用户对象,该方法将对象大小分为多个区间,对于不同对象区间的对象选择不同的预分配值,小对象按较小粒度预分配空间,较大的对象按较大粒度预分配空间。仿真实验表明,该对象预分配方法可以减少磁盘已使用空间的extent数和单个对象平均包含的extent数,可以提高磁盘已分配空间的连续度,从而提高对象访问的性能。对象预取是一种有效减少对象存储控制器访问延迟的重要方法。随着I/O速度与CPU速度差距的扩大,在对象存储控制器上进行对象预取变得越来越重要。然而,现有的预取方法集中于对象内的预取,这限制了对象存储控制器在多个对象间进行预取的能力。针对该问题,提出了一种利用对象间关系进行预取的方法。该方法使用一种称为序列模式挖掘的数据库技术获得对象访问序列中的序列规则并构造序列规则表。当请求的对象不在cache中时,该方法结合当前对象访问上下文在序列规则表中查找与当前对象相关的对象,并将不在cache中的相关对象预取到cache中来。实验结果表明,与基于分组的预取方法相比,该对象预取方法可以提高对象预测精确度和对象cache命中率。主动存储技术具有很多优势,可以减少网络通信量和降低应用程序的执行时间。然而,目前主动存储的优势在对象存储系统中不能得到充分体现。为此,提出了一种灵活的基于对象的主动存储设计。在该设计中对象存储控制器可以利用自己的处理能力参加到用户自定义任务或系统任务对数据的处理中来。用户自定义任务由客户端下载到对象存储控制器中,系统任务由对象存储控制器本身固有。此外,任务对用户数据处理时具有灵活的处理方式。一方面任务可以处理单个对象或多个对象,可以处理对象的一部分数据或全部数据;另一方面任务支持多种数据输入输出模式,即被任务处理的数据可以来自客户端或磁盘并且处理后的数据可以发送到客户端或磁盘。与此同时,对现有对象存储设备标准进行了扩展,使其包含主动存储相关的命令。实验结果表明,增加了主动存

关键词：网络存储基于对象存储对象存储控制器交换架构对象文件系统对象预取主动存储

来源：评论

学校读者我要写书评

暂无评论

基于对象的主动存储关键技术研究

基于对象的主动存储关键技术研究

引用

作者：覃灵军华中科技大学

学位级别：博士

随着计算机和互联网的迅猛发展,网络存储应用现了一些新特点:数据总量爆炸性增长的趋势越来越快,存储管理和维护的自动化和智能化程度要求越来越高,多平台的互操作性和数据共享能力越来越重要。网络存储正发生着革命性的变化,基于对象... 详细信息

随着计算机和互联网的迅猛发展,网络存储应用现了一些新特点:数据总量爆炸性增长的趋势越来越快,存储管理和维护的自动化和智能化程度要求越来越高,多平台的互操作性和数据共享能力越来越重要。网络存储正发生着革命性的变化,基于对象的存储应运而生。基于对象的存储将存储接口作了根本性的改变,提出了对象接口,由此克服了块接口与文件接口的缺陷,使得对象存储系统在安全性,数据共享,可扩展性及性能等方面能做到最好的折中。对象接口访问的基本单位是对象,对象除了包含用户数据外,还包含能描述对象特征的属性。通过在用户和设备之间传递对象属性信息,对象接口比其他接口具有更为丰富的语义表达能力。随着电子技术的发展,存储设备上已嵌入了越来越多的处理能力,上层应用的部分功能可以迁往设备(即“主动存储”的概念)。目前广泛流行的存储设备是“哑设备”,只能被动地响应用户的请求,随着设备功能越来越复杂,传统的对设备透明的管理方式已很难胜任。人们迫切需要一种设备参与在内、更简单灵活的方式来管理,而主动存储能很好地满足这些应用的需求。另外,由于硬磁盘本身机械运动的本质特征没有明显改变,在网络存储条件下网络延迟不能忽略,特别是网络共享跨越了广域网,如何提高处理节点和存储节点间的数据传输速率成为当前提高系统整体性能的关键因素。主动存储系统能够在很大程度上解决该项难题。可以说主动存储系统代表着将计算向数据移近的发展方向。但在对象接口出现之前,原有设备使用的接口是一种简单透明的接口,这妨碍了设备端和用户端的任务合作。对象接口的出现加速了主动存储的发展进程,主动存储可以利用富于表达力的对象接口将更多的信息在设备端和用户端之间传递。可以说对象存储与主动存储的结合将是未来存储界领先的技术之一。基于对象的主动存储系统(OBASS)结合了对象接口与主动存储的优点,主动存储将建立在对象基础上,所有信息都以对象的形式出现。OBASS的基础是基于对象的存储设备(OSD),在软件层次上,OSD主要分为三层:对象层、主动服务层以及存储质量控制层。对象层统一管理所有对象,负责对象的磁盘数据组织(包括磁盘内对象数据布局和磁盘间的对象放置)。主动服务层实现了主动存储功能,上层应用把功能模块下载到OSD中后作为特殊的对象(方法对象),由对象层存储与管理,由主动服务层调度方法对象执行。存储服务质量控制层对所有层次模块的执行过程施加影响,使OSD在不同的负载状况下能满足不同用户的对象读写QoS要求。磁盘内的对象数据组织即对象文件系统,其中一个重要的特性是性能的持久性,即对象文件系统在长期的使用的过程中,经历了频繁的对象创建、删除和写操作后,其性能仍然能够维持在较高水平。性能持久性是通过柔性空闲空间管理和分配粒度可变的渐近空间分配策略实现的。磁盘间的对象放置策略研究对象在多个磁盘间的放置,使得整个系统性能达到最优,负载得以均衡。不同的应用放置策略是不同的,对于流媒体应用,适用的放置策略是基于阻塞概率模型的放置策略;而对于事务处理,基于响应时间模型的放置策略更合适。对象放置策略应能运用于在线环境,但在线运行时负载特点是无法事先预料的,利用OSD的智能性及对象的属性,对象放置策略可对负载的特征进行自主学习,并根据学习的结果指导对象放置。为实现基于对象的主动存储,首先对现有的T10 OSD标准进行修改,扩充对象概念引入方法对象使其支持主动存储。方法对象的执行有两种方式:一种是外界用户的请求触发执行,另一种是条件满足时的策略触发执行。主动服务层建立了统一的框架,把这两种方法的调度机制有效结合起来,支持计算任务与管理任务向OSD迁移。方法的执行机制是主动存储的核心,针对过滤型方法和服务型方法这两类不同方法,分别提出了在Linux系统下的实现机制。为评估主动存储的效能,将这两类方法分别运用于两种不同应用:OSDFS文件系统及对象存储系统的负载均衡。在OSDFS中,两种常规操作lookup和unlink作为过滤型方法下放到OSD中,分析表明,这可以大大减少网络延迟和内存拷贝。而负载均衡算法可以作为服务型方法运行在OSD中,实验表明,启用对象复制和对象迁移的负载均衡算法能最大程度地减少平均系统响应度。存储服务质量控制分三个层次实现QoS:上层调度器实现对象请求调度,从对象级保证QoS;中层调度器实现对象预处理,与对象文件系统及缓存结合,对于对象读,通过对象的预取,对于对象写,通过页面预分配、延迟空间分配及延迟写保障对象读写的QoS;而下层调度器与Linux I/O子系统中的块I/O调度器结合,综合考虑带优先级的实时负载以及非实时负载的调度,即考虑I/O请求的时限,磁头定位时间和优先级三个因素在内的I/O调度。将OSD的QoS调

关键词：网络存储基于对象存储主动存储对象文件系统对象放置存储QoS

来源：评论

学校读者我要写书评

暂无评论

主动存储系统结构

引用

计算机学报 2005年第6期28卷 1013-1020页

作者：靳超郑纬民张悠慧清华大学计算机科学与技术系高性能计算所北京100084

随着系统结构技术的发展和用户对数据访问的需求,目前的存储结构成为性能访问的瓶颈.磁存储技术的发展使得存储密度每年增长100%的同时,访问延迟的增长率仅为10%,导致目前的块数据式访问接口无法改变I/O的访问性能相对落后于CPU和内存... 详细信息

随着系统结构技术的发展和用户对数据访问的需求,目前的存储结构成为性能访问的瓶颈.磁存储技术的发展使得存储密度每年增长100%的同时,访问延迟的增长率仅为10%,导致目前的块数据式访问接口无法改变I/O的访问性能相对落后于CPU和内存访问速度的状况.随着嵌入式芯片技术的发展,计算向数据迁移成为必然趋势.文章提出了一种主动存储的系统结构,该系统中的主动存储设备利用嵌入式的计算能力通过集合存储对象和应用对象的访问接口支持简单的计算任务和存储管理功能.原型系统的实验数据表明,该系统对于数据敏感性应用的可扩展访问支持显著优于传统系统,同时相比于传统系统具备更高的可扩展性.

关键词：主动存储 I/O 可扩缩性

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：