检索结果-内蒙古大学图书馆

现代电子技术 2022年第7期45卷 107-111页

作者：梁懿陈又咏李森王明福建亿榕信息技术有限公司福建福州350003 西安交通大学电子与信息学部陕西西安710049 国网信息通信产业集团有限公司北京102211

作为数据库重要的底层技术,冷热数据识别旨在动态缓存热数据驻留内存、淘汰冷数据至外存,通过提高缓存命中率加快数据库访问响应速度。传统冷热数据识别方法如LRU、LFU主要针对时效性、频率性业务场景,当业务场景改变时,难以自适应新业... 详细信息

作为数据库重要的底层技术,冷热数据识别旨在动态缓存热数据驻留内存、淘汰冷数据至外存,通过提高缓存命中率加快数据库访问响应速度。传统冷热数据识别方法如LRU、LFU主要针对时效性、频率性业务场景,当业务场景改变时,难以自适应新业务场景的冷热数据变化规律,因此缺乏灵活性。为此,提出HF-ARC算法,开展自适应业务场景的冷热数据识别。HF-ARC算法融合不同业务场景下的数据时效性与访问频率,实现了数据库冷热数据识别的自适应业务场景调优。基于Flash-DBSim系统仿真平台,分别采用局部、概率、线性三种访问模式模拟时效性、频率性、综合性业务场景。实验结果表明,HF-ARC算法根据不同业务场景冷热数据变化规律,动态调整冷热识别策略。相比非自适应识别算法,可将缓存命中率提高5%~15%;相比其他适应性算法,可将缓存命中率提高1.3%~2.5%。

关键词：数据库冷热数据识别自适应系统存储业务场景缓存局部性

来源：评论

学校读者我要写书评

暂无评论

移动设备文件系统冷热数据管理策略

移动设备文件系统冷热数据管理策略

引用

作者：袁玉环华中科技大学

学位级别：硕士

闪存由于速度快、功耗低、更轻便等优点,被广泛应用于平板电脑、智能手机、MP3等各种移动设备中。传统文件系统无法充分发挥闪存的优势,Flash Friendly File System(F2FS)作为专门针对闪存而设计出来的日志结构文件系统,在移动设备上拥... 详细信息

闪存由于速度快、功耗低、更轻便等优点,被广泛应用于平板电脑、智能手机、MP3等各种移动设备中。传统文件系统无法充分发挥闪存的优势,Flash Friendly File System(F2FS)作为专门针对闪存而设计出来的日志结构文件系统,在移动设备上拥有更好的性能。但F2FS采用启发式方法静态定义冷热数据,无法利用移动设备上数据更新集中的特点,也无法准确追踪每个数据的热度。数据冷热区分不准确会影响F2FS的数据布局,进而影响读写性能和Garbage Collection(GC)性能。针对移动设备上文件系统冷热区分问题,提出文件和页上两个粒度的冷热数据区分策略。实验发现移动设备上不同应用更新最频繁的文件类型不同,更新最频繁的1到2种文件类型的文件更新次数占整体更新次数的60%到80%。据此提出文件级的热文件区分策略,如果文件的类型为所属应用的频繁更新文件类型,将这些文件标记为热文件;在页级以更新频率为基础为每一个页维护一个热度值,实时反映页数据热度,并在热度值上设立阈值校准页数据温度。页温度值的阈值能周期性调整,适应数据因为存在时间长短不同从而热度值不同的情况。同时提出一种新的脏段选择策略,加入段热度作为脏段选择依据,段热度由所包含的页的页热度值决定,优先选择段热度较低的段进行GC操作,从长期上优化GC性能。通过测试与分析,提出的冷热数据管理策略对比语义感知策略,热数据更新率增加了5.23%,识别出的热数据页数目增加了1.8倍。作为冷热数据区分的主要影响参数,GC迁移量减少了20.6%。

关键词：冷热数据识别移动设备 Flash Friendly File System 动态阈值

来源：评论

学校读者我要写书评

暂无评论

固态硬盘的重读算法优化研究

固态硬盘的重读算法优化研究

引用

作者：刘成华中科技大学

学位级别：硕士

近年来,固态硬盘制造商通过使用多层存储单元等先进存储技术提高闪存存储密度,降低固态硬盘生产成本,但这些技术使得固态硬盘的数据可靠性不断降低。面对日趋严重的可靠性问题,固态硬盘采用重读方法解决纠错码不可校正的数据错误。重读... 详细信息

近年来,固态硬盘制造商通过使用多层存储单元等先进存储技术提高闪存存储密度,降低固态硬盘生产成本,但这些技术使得固态硬盘的数据可靠性不断降低。面对日趋严重的可靠性问题,固态硬盘采用重读方法解决纠错码不可校正的数据错误。重读方法包含多个重试步骤,每次重试步骤会调整读参考电压来重新读取数据,使得纠错码能够校正数据的比特错误。重读方法虽然空间开销小,但是会引入更严重的读干扰问题,而且还会显著增加固态硬盘的请求响应时间。为改善现有重读方法的性能,提出了一种自适应快速重读算法。自适应快速重读算法利用两种特征,即闪存的重试次数差异特征和逻辑地址的访问频率差异特征,来优化现有重读算法的性能。首先,在闪存芯片中统计得到的重试次数列表中,根据闪存块的擦写次数和保留时间确定重读的最小重试次数。然后利用最小重试次数,在部分重试步骤中跳过纠错码校正操作,直接进行下一步重试,从而避免不必要校正操作。最后,统计请求的逻辑地址的访问频率来确定读请求热度,分别对热请求和冷请求执行快速重读算法和管道重读算法,从而进一步降低读响应时间,减少读刷新次数。在MSRC负载数据上的实验结果表明,与管道重读算法相比,自适应快速重读算法在不同负载上平均减少了24.1%的读刷新次数,并且降低了4.4%的读响应时间;与常规重读算法相比,自适应快速重读算法能够降低19.1%的读响应时间。实验表明了自适应快速重读算法能够有效减少读刷新次数,降低读响应时间,优化固态硬盘的读性能。

关键词：固态硬盘闪存可靠性重读冷热数据识别读刷新

来源：评论

学校读者我要写书评

暂无评论

细粒度缓存管理研究

细粒度缓存管理研究

引用

作者：李玉雄重庆大学

学位级别：硕士

数据缓存一直是存储系统中用于提高访存性能的关键部件。随着大数据应用和云计算的高速发展,存储服务器的工作负载强度和并发性不断提高,对存储缓存的要求也随之增强。尤其为了获得较高的存储访问性能和I/O吞吐量,服务器端的存储缓存开... 详细信息

数据缓存一直是存储系统中用于提高访存性能的关键部件。随着大数据应用和云计算的高速发展,存储服务器的工作负载强度和并发性不断提高,对存储缓存的要求也随之增强。尤其为了获得较高的存储访问性能和I/O吞吐量,服务器端的存储缓存开始采用大粒度页面管理缓存数据。然而,采用大粒度页面管理缓存数据将使传统缓存算法面临两个严重问题。第一,传统的缓存算法以页为单位对缓存数据进行管理和替换,即当页面缺失时,即使I/O请求仅访问该页面的一个字节,也必须从底层存储设备中读取整个页面到缓存,从而导致缓存空间被污染,缓存利用率降低。并且,缓存页面越大,缓存空间污染现象越严重。第二,存在于同一个大缓存页面的不同数据通常具有不同的访存模式和不同的访问局部性特征,致使同一个缓存页中常出现冷热数据混合存储的问题。传统的缓存算法仅以页面为单位记录整个缓存页的访问热度,即无论每次访问多少数据,整个页面的热度值都将统一增加。在这种情况下,随着时间的推移,冷热数据混合存储的问题将会越来越严重,最后会严重影响缓存数据准入和替换的正确性,降低缓存命中率,影响缓存的整体性能。为了解决上述问题,本文提出了一种基于细粒度管理的页面大小可变的缓存架构,简称AIRCache。AIRCache包含四个部分:缓存页面映射表(Page Mapping Table,简称PMT)、细粒度记录器(Fine-Grained Recorder,简称FGR)、多粒度写入器(Multi-Granularity Writer,简称MGW)和多粒度替换器(Multi-Granularity Replacer,简称MGR)。PMT主要记录缓存页面的元数据信息;FGR主要通过将大粒度缓存页面划分成粒度更小的子块并记录其详细的访问状态信息;MGW以大小不同的粒度向缓存写入数据;MGR则以大小不同的粒度将数据逐出缓存,以确保缓存空间的高利用率和高缓存命中率。为了验证AIRCache的有效性,本文以传统缓存替换算法LRU和ARC为基础,实现了AIRCache算法,分别称为AIR-LRU和AIR-ARC,并使用FIU数据集中的工作负载对AIR-LRU和AIR-ARC进行实验评估。实验结果表明,与传统的LRU和ARC算法相比,AIR-LRU和AIR-ARC的读缓存命中率最高提高了7.59倍和2.05倍,缓存空间利用率最高分别提高2.1倍和3.1倍。

关键词：存储缓存细粒度管理冷热数据识别

来源：评论

学校读者我要写书评

暂无评论

VxWorks平台下基于NAND FLASH的文件系统研究与设计

VxWorks平台下基于NAND FLASH的文件系统研究与设计

引用

作者：郭利军北京邮电大学

学位级别：硕士

目前,VxWorks平台使用TFFS作为FLASH管理层,TFFS的主要功能是屏蔽Flash设备的特性,对上层文件提供统一的磁盘接口。DosFs等文件系统无需修改就可以运行在TFFS层之上。TFFS提供多个转换层管理不同的Flash设备,其中NFTL用来管理NAND Flas... 详细信息

目前,VxWorks平台使用TFFS作为FLASH管理层,TFFS的主要功能是屏蔽Flash设备的特性,对上层文件提供统一的磁盘接口。DosFs等文件系统无需修改就可以运行在TFFS层之上。TFFS提供多个转换层管理不同的Flash设备,其中NFTL用来管理NAND Flash设备。但是NFTL的实现是基于小容量NAND Flash,因此不能直接应用在大容量NAND Flash设备之上。本文通过分析TFFS的工作机制以及NFTL针对大容量NAND Flash的缺陷,提出了针对大容量NAND Flash设备的TFFS文件系统解决方案。解决方案包括两部分内容:一是MTD层、Socket层的实现,负责NAND Flash的读写、电源管理等;二是NFTL的优化,通过多方面的优化,使NFTL可以支持大容量NAND Flash设备。本文对NFTL转换层的优化包括:使用页级地址映射保证物理块的页面顺序写入,满足大容量NAND Flash设备对写入顺序的要求。通过划分冷热数据,将冷热数据分开存储。在分配物理块时,冷数据分配到擦除次数较多的物理块,反之,热数据分配到擦除次数较少的物理块,提高损耗平衡。使用热数据缓冲减少对NAND Flash设备的更新次数,提高写入性能,延长设备寿命。使用检查点机制提高设备加载速度,避免对设备的多次扫描。通过FlashSim评估软件对NFTL的优化算法进行评估。评估结果显示,优化后的NFTL的读写性能、损耗平衡以及地址转换开销均优于原始NFTL。本文进一步在龙芯1B平台对比优化前后的NFTL性能。龙芯平台的实验结果与FlashSim的评估结果一致。综上,本文提出的TFFS的NAND Flash文件系统方案可以有效克服TFFS的原有缺陷,并提供更好的I/O性能和擦除平衡效果。

关键词： VxWorks NFTL优化页级地址映射冷热数据识别

来源：评论

学校读者我要写书评

暂无评论

基于块的混合存储关键技术研究

基于块的混合存储关键技术研究

引用

作者：左若尘华中科技大学

学位级别：硕士

随着存储技术的不断发展,固态盘在计算机存储系统中发挥越来越重要的作用。新一代的固态盘不仅拥有优秀的随机读写性能,顺序读写性能也比磁盘优秀,而且非常节能。但固态盘的价格和容量限制了它的大规模应用,混合存储成为一种自然选择。... 详细信息

随着存储技术的不断发展,固态盘在计算机存储系统中发挥越来越重要的作用。新一代的固态盘不仅拥有优秀的随机读写性能,顺序读写性能也比磁盘优秀,而且非常节能。但固态盘的价格和容量限制了它的大规模应用,混合存储成为一种自然选择。混合存储就是利用不同性能和特点的存储介质重构成一个存储设备。区分冷热数据块与数据迁移是影响混合存储性能的关键技术。对磁盘和固态盘的I/O性能进行了测试分析,得出固态盘的随机访问性能优势与请求大小有关,但不是简单的线性关系。要想充分利用固态盘来提高系统整体的读写性能,并不是简单地将热数据块放在固态盘上,而是将最影响磁盘性能的关键数据块放在固态盘上,同时还考虑请求大小对性能的影响。采用基于访问频度、请求大小和寻道距离的关键数据识别策略,与传统的基于访问频度和请求大小的识别策略相比,该方法提高了对关键数据识别的准确度,更好的将最影响磁盘性能的数据块迁到固态盘上,更有效地发挥固态盘的特性,提高系统的整体性能。同时提出拷贝式迁移策略,有效降低了迁移所带来的开销,能很好地适用于现阶段大量多读少写的工作集,并在Linux kernel 2.6.31的device mapper层实现了固态盘和磁盘的混合,将固态盘和磁盘混合为一个统一的存储设备对外服务。通过测试与分析,当固态盘空间仅占负载工作集的20%,新的关键数据识别和拷贝式迁移策略,执行时间比纯磁盘减少了大约23%,大约是固态盘的2.3倍。当固态盘空间仅占负载工作集的40%,执行时间比磁盘减少了大约53%,只比固态盘多了43%。

关键词：固态盘混合存储冷热数据识别数据迁移

来源：评论

学校读者我要写书评

暂无评论

基于固态硬盘的磨损均衡算法的研究与设计

基于固态硬盘的磨损均衡算法的研究与设计

引用

作者：温雷湖南大学

学位级别：硕士

随着信息化时代的来临,海量数据的存储与处理对存储器的性能要求越来越高;基于温彻斯特技术的传统机械硬盘受制于其物理结构的约束,已逐渐不能满足人们日益增长的需求。以半导体为存储介质的固态硬盘作为一种新兴存储设备逐渐进入人们... 详细信息

随着信息化时代的来临,海量数据的存储与处理对存储器的性能要求越来越高;基于温彻斯特技术的传统机械硬盘受制于其物理结构的约束,已逐渐不能满足人们日益增长的需求。以半导体为存储介质的固态硬盘作为一种新兴存储设备逐渐进入人们的视野;固态硬盘具有读写速度高、功耗低、抗震性强和工作温度范围大等特点,受到国内外研究者们的高度关注。随着制造工艺的进步与成本性能的提高,固态硬盘逐渐呈现出取代传统机械硬盘的趋势。然而,由于闪存所固有的缺陷,闪存块通常具有有限的擦除次数;一旦达到其擦除上限,块上所存储的数据将会变得不可靠。采用磨损均衡算法将擦除操作均匀的分布在所有块中,尽可能保证所有块同时达到其使用上限,从而实现延长固态硬盘使用寿命的目的。本文详细的分析了静态磨损均衡算法的基本原理、研究现状以及影响其性能的主要因素,提出了两种不同的磨损均衡算法。论文的主要工作和创新成果如下:1.提出了一种改进型分组磨损均衡算法。算法在保证磨损均衡性能的同时,能显著地降低磨损均衡算法所需要的内存消耗。此外,算法还提出了一种更为精确的冷数据识别方式,可以减少因数据迁移所带来的额外擦除操作。通过SSDsim进行实验验证,结果表明,我们所提出的算法具有与经典确定性算法相近的磨损均衡性能,但仅占用其8%左右的内存资源。2.提出了一种新的基于多个高级布隆过滤器的冷热数据识别方式,并在此基础上提出了一种基于冷热数据分离的磨损均衡算法。通过改进布隆过滤器的写入方式,在不改变布隆过滤器大小的前提下,大大降低布隆过滤器所存在的误判率,提高了冷热数据识别的准确性。通过将冷热数据进行分离存储,将具有相同属性的数据分配在同一块中,使得数据的变化具有同步性,减少垃圾回收操作中有效页转移的数量。与此同时,将冷数据分配给磨损较为严重的“年老块”,将热数据分配给磨损较轻的“年轻块”,降低静态磨损均衡算法触发的概率,减少磨损均衡操作所产生的额外写入次数。实验仿真和理论分析,证明了算法的有效性。

关键词：固态硬盘磨损均衡算法冷热数据识别布隆过滤器冷热数据分离

来源：评论

学校读者我要写书评

暂无评论

负载均衡下的混合存储数据迁移方法研究

负载均衡下的混合存储数据迁移方法研究

引用

作者：李茂林西安建筑科技大学

学位级别：硕士

随着信息技术的飞速发展,传统的集中式数据存储方式以及由单一存储介质构成的存储系统已经不能满足用户的存储需求,而逐渐被分布式混合存储系统所取代。但大数据时代的到来促使用户对存储系统容量、成本和性能提出了越来越高的要求。在... 详细信息

随着信息技术的飞速发展,传统的集中式数据存储方式以及由单一存储介质构成的存储系统已经不能满足用户的存储需求,而逐渐被分布式混合存储系统所取代。但大数据时代的到来促使用户对存储系统容量、成本和性能提出了越来越高的要求。在分布式混合存储系统中,为使数据更好地匹配存储介质的特性,充分利用系统资源,数据迁移发挥着关键的作用。合理的迁移方案能够根据文件的属性和存储介质的特性在系统中找到合适的位置存储文件,在充分发挥存储介质优势的同时使系统达到更好的负载均衡状态,进而提升存储系统的整体性能。本文以分布式混合存储系统的数据迁移为研究对象,从迁移对象的确定和迁移过程的实现两方面展开研究。针对迁移对象的确定,本文提出了一种基于数据价值的冷热数据识别方法。鉴于传统识别方法存在主观性强、准确率低等缺陷,首先,本文通过文献梳理和实验分析更为全面地探究影响数据价值的因素;然后,采用熵权法为各因素分配权重以区分不同因素对数据价值的影响程度,从而更为客观地评估文件的数据价值,提高冷热数据识别的准确性。在实现数据迁移的过程中,本文基于冷热数据集合提出了一种兼顾存储介质特性和存储系统负载均衡的数据迁移模型,并采用改进蚁群算法来求解该模型,从而为各存储文件找到最为合适的存储位置,既有效提高了系统的性能,又满足了负载均衡的需求。实验分析表明,本文所提出的数据迁移方案不仅能够提高迁移对象选取的准确性,并且能够在迁移的过程中根据各个节点的负载状态来动态调整文件的目标迁移位置,提升存储系统的访问性能和稳定性。与现有的数据迁移算法(贪心算法、遗传算法)和未考虑负载状态的数据迁移算法(传统蚁群算法)相比,本文所设计的数据迁移算法(改进蚁群算法)在系统带宽利用率、系统延迟和系统负载均衡度等方面都有明显的效果。

关键词：混合存储数据迁移负载均衡冷热数据识别蚁群算法

来源：评论

学校读者我要写书评

暂无评论

大容量NAND型闪存数据管理系统研究

大容量NAND型闪存数据管理系统研究

引用

作者：黄滨南京大学

学位级别：硕士

闪存有两种类型：NOR型闪存和NAND闪存，它们在硬件接口、读写单元的大小、读写速度上、以及制造成本等都有很大不同。NOR型闪存主要用来存储代码，NAND型闪存则主要用来存储数据。近年来，NAND型闪存发展迅猛，其存储密度以每年增加1... 详细信息

闪存有两种类型：NOR型闪存和NAND闪存，它们在硬件接口、读写单元的大小、读写速度上、以及制造成本等都有很大不同。NOR型闪存主要用来存储代码，NAND型闪存则主要用来存储数据。近年来，NAND型闪存发展迅猛，其存储密度以每年增加1倍的速度增长。随着NAND存储容量迅速提升，其应用领域越来越广。\n 目前，闪存上的数据管理方法主要有两种：一，采用中间转换层技术，通过将闪存模拟成一个普通块设备，从而可以使用传统的磁盘文件系统来管理闪存上的数据；二，采用专门针对闪存存储特性而设计的闪存专用文件系统来管理闪存上的数据。\n 无论是采用上述两种方法中的哪一种，目前的管理方法在管理大容量闪存时，都会面临运行时间、内存消耗等增加的问题。本文从闪存数据管理的两个重要方面--数据映射和垃圾回收入手，着重研究在大容量闪存下，如何减少用于维护映射数据的内存消耗、通过闪存中的热数据分开存储来提高垃圾回收效率。具体工作可以概括为以下几个方面：\n (1)层次型冷热数据识别框架。冷热数据分开存储对于提高闪存垃圾回收效率、提高闪存写吞吐量、延长闪存寿命都有着重要意义。针对大容量闪存下存储数据多，冷热数据识别困难的问题，本文提出了一种层次型识别框架。它主要利用数据的访问模式和闪存存储特点，在多个层次上高效地记录更新数据信息，尽可能地过滤掉无用和冗余信息，从而可以在占用较少系统资源的情况下，有效地识别出热数据。并且，该框架的有效性和相对于现有冷热数据识别方法的优越性被通过实验验证。\n (2)混合维护型数据映射。由于闪存采用特殊的更新数据方式--非本地更新，使得在闪存数据管理系统中，需要在内存中维护数据逻辑地址到物理地址间的映射关系。随着闪存容量的增大，系统就需要大量的内存来维护这些映射数据。为了减少这样的内存消耗，本文提出了一种混合维护型数据映射。它使用内存和闪存来共同维护映射数据，利用闪存来存储映射数据，利用内存来完成映射数据的更新，从而达到减少维护映射数据所需内存，并且并不降低映射数据维护效率的目的。实验结果表明，该数据映射方法可以有效减少用于维护映射数据的内存。\n (3)基于硬盘的NAND型闪存模拟器。本文设计了一种基于硬盘的闪存模拟器，该模拟器通过将上层用户对于闪存的读写操作转嫁到磁盘文件上来为用户虚拟出一个NAND型闪存。由于该闪存模拟器是基于硬盘来模拟闪存的，相对于现有的基于内存来模拟闪存的闪存模拟器，其优点是：可以模拟硬盘容量级别的闪存。因此，基于硬盘的闪存模拟器，可以模拟出现有大部分大容量闪存产品，进而帮助程序员开发大容量闪存数据管理系统。并且，在该模拟器的帮助下，本文的实验得以完成。

关键词： NAND型闪存冷热数据识别数据映射闪存数据管理随机存贮器

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：