检索结果-内蒙古大学图书馆

软件学报 2020年第3期31卷 620-633页

作者：高远宁叶金标杨念祖高晓沨陈贵海上海市可扩展计算与系统重点实验室上海200240 上海交通大学计算机科学与工程系上海200240

在大数据与云计算时代,数据访问速度是衡量大规模存储系统性能的一个重要指标.因此,如何设计一种轻量、高效的数据索引结构,从而满足系统高吞吐率、低内存占用的需求,是当前数据库领域的研究热点之一.Kraska等人提出使用机器学习模型代... 详细信息

在大数据与云计算时代,数据访问速度是衡量大规模存储系统性能的一个重要指标.因此,如何设计一种轻量、高效的数据索引结构,从而满足系统高吞吐率、低内存占用的需求,是当前数据库领域的研究热点之一.Kraska等人提出使用机器学习模型代替传统的B树索引,并在真实数据集上取得了不错的效果,但其提出的模型假设工作负载是静态的、只读的,对于索引更新问题没有提出很好的解决办法.提出了基于中间层的可扩展的学习索引模型Dabble,用来解决索引更新引发的模型重训练问题.首先,Dabble模型利用K-Means聚类算法将数据集划分为K个区域,并训练K个神经网络分别学习不同区域的数据分布.在模型训练阶段,创新性地把数据的访问热点信息融入到神经网络中,从而提高模型对热点数据的预测精度.在数据插入时,借鉴了LSM树延迟更新的思想,提高了数据写入速度.在索引更新阶段,提出一种基于中间层的机制将模型解耦,从而缓解由于数据插入带来的模型更新问题.分别在Lognormal数据集以及Weblogs数据集上进行实验验证,结果表明,与当前先进的方法相比,Dabble模型在查询以及索引更新方面都取得了非常好的效果.

关键词：学习索引聚类神经网络动态更新

来源：评论

学校读者我要写书评

暂无评论

基于学习索引的图式区块链高效可验证查询机制

引用

计算机研究与发展 2023年第11期60卷 2455-2468页

作者：常健林立成李彬弘肖江金海华中科技大学计算机科学与技术学院武汉430074 大数据技术与系统国家地方联合工程研究中心(华中科技大学) 武汉430074 服务计算技术与系统教育部重点实验室(华中科技大学) 武汉430074 集群与网格计算湖北省重点实验室(华中科技大学) 武汉430074

区块链技术近年来受到了广泛关注,并应用于各个领域,数据查询是其在应用过程的一个重要技术,如物流链中的数据溯源等.随着区块链系统中交易数据量的持续增长,支持高并发事务处理的图式区块链成为区块链技术的研究热点.图式区块链的高并... 详细信息

区块链技术近年来受到了广泛关注,并应用于各个领域,数据查询是其在应用过程的一个重要技术,如物流链中的数据溯源等.随着区块链系统中交易数据量的持续增长,支持高并发事务处理的图式区块链成为区块链技术的研究热点.图式区块链的高并发区块使得数据查询难以像传统链式结构依次遍历,可以根据图式结构采用广度优先或深度优先遍历策略,但这种查询方式存在效率低、验证难等问题.针对图式区块链数据查询的效率和可验证性问题,提出了一种基于学习索引的高效可验证的图式区块链查询机制Lever.该机制通过引入学习索引技术对图式区块链中时序数据分布特征进行学习以实现对索引过程的优化,旨在提高图式区块链查询的效率和可验证性.学习索引是通过学习数据分布来减少索引存储空间和查询时间的新型索引技术,将学习索引应用于图式区块链的纪元高度与时间戳的映射关系中,通过函数运算的方式定位查询数据,提高查询速度和效率.同时,为了加快纪元内多个区块数据的过滤速度,在每个区块头部添加布隆过滤器,并为每个纪元生成一个聚合布隆过滤器,从而提高纪元内的数据遍历速度.此外,为保证查询结果的正确性和完整性,该机制结合布隆过滤器和排序默克尔树生成可验证对象,通过部分默克尔树分支实现对布隆过滤器假阳性的不存在证明,有效减小验证对象的规模,从而提高图式区块链查询过程的数据传输效率.实验结果表明,Lever能有效提高基于DAG的图式区块链查询效率和可验证性,与Conflux的基本查询机制相比,该机制的查询性能最高提升了10倍,可验证对象大小开销可以降低90%.

关键词：图式区块链可验证查询学习索引聚合布隆过滤器排序默克尔树

来源：评论

学校读者我要写书评

暂无评论

基于改进的K-means聚类分区均匀化空间学习索引

引用

浙江大学学报（理学版） 2024年第2期51卷 153-161,195页

作者：傅晨华张丰胡林舒王立君浙江大学地球科学学院浙江杭州310058 浙江大学浙江省资源与环境信息系统重点实验室浙江杭州310058

传统空间索引的体量随数据量的增加而膨胀,查询效率较低。学习索引的体量不随数据量的增加而膨胀,同时避免了层级比较查询,性能优异。将学习索引应用于空间索引存在2个难点:一是选取合适的降维方法实现空间数据的排序;二是对降维后数据... 详细信息

传统空间索引的体量随数据量的增加而膨胀,查询效率较低。学习索引的体量不随数据量的增加而膨胀,同时避免了层级比较查询,性能优异。将学习索引应用于空间索引存在2个难点:一是选取合适的降维方法实现空间数据的排序;二是对降维后数据序列进行有效的简化分布计算,使其易于拟合。基于此,提出了一种网格混合聚类分区学习索引(grid-ml),用z曲线进行降维,用双层网格结构优化查询策略,用改进的K-means聚类算法进行数据分区,实现数据分布均匀化。对比实验发现,grid-ml构建速度快、存储空间小、查询效率高,较传统空间索引优势显著。

关键词：学习索引 K-means聚类空间填充曲线空间索引

来源：评论

学校读者我要写书评

暂无评论

学习索引研究综述

引用

计算机科学 2023年第1期50卷 1-8页

作者：王艺潭王一舒袁野东北大学计算机科学与工程学院沈阳110169 北京理工大学计算机学院北京100081

大数据时代数据呈爆发式增长,传统索引结构难以处理庞大复杂的数据,为解决这一问题,学习索引应运而生,并成为当前数据库领域的研究热点之一。学习索引利用机器学习模型进行索引构建,通过对数据和物理位置之间的关系进行训练和学习得到... 详细信息

大数据时代数据呈爆发式增长,传统索引结构难以处理庞大复杂的数据,为解决这一问题,学习索引应运而生,并成为当前数据库领域的研究热点之一。学习索引利用机器学习模型进行索引构建,通过对数据和物理位置之间的关系进行训练和学习得到学习模型,掌握二者之间的分布特点和规律,从而实现对传统索引的改进和优化。大量实验表明,与传统索引相比,学习索引可以适应大规模数据集,提供更好的搜索性能,具有更低的空间要求。文中详细介绍了学习索引的应用背景,梳理了现有的学习索引模型;根据数据类型的不同,将学习索引分为一维和多维两种类别,并对每种类别中学习索引模型的优缺点和可以支持的查询进行了详细的介绍和分析;最后对学习索引的未来研究方向进行了展望,以期为相关研究提供参考。

关键词：学习索引机器学习索引构建数据结构数据库

来源：评论

学校读者我要写书评

暂无评论

LI-Tree:一个基于非易失性内存和轻量级B+树的学习索引

引用

小型微型计算机系统 2023年第6期44卷 1329-1337页

作者：王中华舒碧华陈书宁刘瀚阳崔秋万继光华中科技大学武汉光电国家研究中心武汉430074 北京平凯星辰科技发展有限公司北京100192

大数据背景下剧增的数据给经典的内存索引技术带来了巨大挑战,为了实现对海量数据的高性能索引,工业界和学术界分别从设备和结构角度推出了高性能大容量的非易失型内存(Non-Volatile Memory,NVM)和受机器学习启发的学习索引(Learned Ind... 详细信息

大数据背景下剧增的数据给经典的内存索引技术带来了巨大挑战,为了实现对海量数据的高性能索引,工业界和学术界分别从设备和结构角度推出了高性能大容量的非易失型内存(Non-Volatile Memory,NVM)和受机器学习启发的学习索引(Learned Index,LI).然而目前基于NVM的学习索引结构的相关研究非常稀少,在如何结合NVM和LI来高效地索引海量数据方面还有许多问题需要解决.本文提出了一种基于NVM的新型智能索引结构LI-Tree,充分发挥了两者的优势.具体的,LI-Tree可分为三层:由机器学习模型组成的能够提高LI-Tree单点性能的模型层、由静态数组构成的减少NVM写的数据索引层和由一系列轻量级B+树组成以避免模型层插入时频繁重训练的数据层.在真实设备上评估表明,LI-Tree相比传统B+树,插入、查询和删除性能分别提高了70%、30%和130%.另外,LI-Tree与学习索引结构ALEX,PGM-Index和XIndex对比,插入性能分别提升了80%,130%和150%.

关键词：非易失内存索引结构学习索引 B+树键值存储

来源：评论

学校读者我要写书评

暂无评论

GDLIN:一种利用梯度下降的学习索引

引用

计算机科学 2023年第S01期50卷 527-532页

作者：陈珊珊高隽马振禹南京邮电大学计算机学院南京210003

在大数据时代,数据访问速度是衡量大规模存储系统性能的一个重要指标,而索引是用于提升数据库系统中数据存取性能的主要技术之一。近几年,使用机器学习模型代替B+树等传统索引,拟合数据分布规律,将数据的间接查找优化为函数直接计算的... 详细信息

在大数据时代,数据访问速度是衡量大规模存储系统性能的一个重要指标,而索引是用于提升数据库系统中数据存取性能的主要技术之一。近几年,使用机器学习模型代替B+树等传统索引,拟合数据分布规律,将数据的间接查找优化为函数直接计算的学习索引(Learned Index,LI)被提出,LI提高了查询的速度,减少了索引空间开销。但是LI的拟合误差较大,不支持插入等修改性操作。文中提出了一种利用梯度下降算法拟合数据的学习索引模型GDLIN(A Learned Index By Gradient Descent)。GDLIN利用梯度下降算法更好地拟合数据,减少拟合误差,缩短本地查找的时间;同时递归调用数据拟合算法,充分利用键的分布规律,构建上层结构,避免索引结构随着数据量而增大。另外,GDLIN利用链表解决LI不支持数据插入的问题。实验结果表明,GDLIN在无新数据插入的情况下,吞吐量是B+树的2.1倍;在插入操作占比为50%的情况下,是LI的1.08倍。

关键词：学习索引梯度下降拟合数据模型链表

来源：评论

学校读者我要写书评

暂无评论

基于大页内存的学习索引内存分配策略

引用

华东师范大学学报（自然科学版） 2023年第2期 73-81页

作者：官嘉林朱艳吴庭亮陈艳张敬伟桂林电子科技大学广西可信软件重点实验室广西桂林541004 桂林航天工业学院计算机科学与工程学院广西桂林541004

大数据时代,数据信息的不断膨胀给数据的快速存取带来了巨大挑战.因此,设计一种高效的索引结构具有重要意义. ALEX (updatable adaptive learned index)是一种利用机器学习模型代替传统B-树索引结构的学习索引,具有较好的时间、空间性能... 详细信息

大数据时代,数据信息的不断膨胀给数据的快速存取带来了巨大挑战.因此,设计一种高效的索引结构具有重要意义. ALEX (updatable adaptive learned index)是一种利用机器学习模型代替传统B-树索引结构的学习索引,具有较好的时间、空间性能,但存在频繁的缺页中断问题.为解决此问题,进一步提升ALEX性能,在ALEX基础上提出了一种基于大页内存的内存预分配策略,较好地降低了内存缺页中断率,提升了ALEX性能.在内存分配阶段,采用预分配策略;在内存回收阶段,则采用延迟释放策略.在Longitudes数据集上的实验表明,该策略具有良好的效果.

关键词：学习索引大页内存数据存取

来源：评论

学校读者我要写书评

暂无评论

高性能学习索引关键技术研究

高性能学习索引关键技术研究

引用

作者：张洲中国科学技术大学

学位级别：博士

近年来,使用人工智能和机器学习优化数据库系统成为数据库领域的研究热点。其中,机器学习与数据库索引技术的交叉融合催生了“学习索引”这一新的研究方向。学习索引是一种内存索引,它使用机器学习模型替代传统的数据库索引。具体而言,... 详细信息

近年来,使用人工智能和机器学习优化数据库系统成为数据库领域的研究热点。其中,机器学习与数据库索引技术的交叉融合催生了“学习索引”这一新的研究方向。学习索引是一种内存索引,它使用机器学习模型替代传统的数据库索引。具体而言,它将键作为模型的输入,并输出该键对应的记录在排序数组中的位置。和传统索引不同,学习索引能够感知数据的分布规律,并通过模型推理快速地定位数据。与B+树等传统索引相比,学习索引具有更低的空间代价和更高的查询性能。从目前的趋势来看,学习索引有望取代传统索引,在未来的数据库系统中扮演重要角色。然而,最初的学习索引存在许多问题,限制了它的性能和可用性。这些问题主要包括:(1)学习索引不支持插入,只能工作在静态数据集上;(2)学习索引不具有有界的查询复杂度,在最差情况下需要扫描整个数据集;(3)学习索引的局部搜索范围较大,达到了数十个缓存行大小,所以缓存效率较低;(4)学习索引工作在DRAM上,不具有持久性,当系统崩溃时会丢失数据;(5)学习索引只支持数值类型的键,不支持变长键。最近的一些工作使用异地插入或就地插入策略来支持数据插入,并使用分段线性回归模型和自下向上的索引构建方式来保证有界的查询复杂度。然而,这些工作都没能同时获得高读写性能和有界的查询复杂度,而且它们都没有考虑缓存效率、持久性和对变长键的支持。本论文以高性能学习索引为研究目标,在支持插入和保证有界的查询复杂度的前提下,从缓存效率、持久性和支持变长键三个方面优化学习索引,为构建高性能的学习索引提供技术参考。总体而言,本文的主要工作和贡献可总结为以下几个方面:(1)针对学习索引的缓存效率低以及缺乏高效插入机制的问题,本论文提出了一种缓存感知的学习索引—COLIN。COLIN采用就地插入策略,在构建节点时预留一些空位,并利用这些空位优化节点内的数据放置。通过基于模型的数据放置策略和缓存感知的数据布局,COLIN将索引的局部搜索范围与模型的最大误差解耦。此外,COLIN的节点设计采用了学习节点与简单节点两种结构,其中学习节点用于保证索引结构的扁平特性,简单节点则用于支持越界插入与数据溢出。在多种实验负载和真实数据集上的实验结果表明,COLIN的读写性能均优于目前最新的学习索引,包括FITing-Tree、PGM-index 和 ALEX。(2)针对学习索引不具有持久性的问题,本论文提出了一种面向非易失内存(Non-Volatile Memory,简称NVM)的学习索引—PLIN。NVM具有非易失性、接近DRAM的访问延迟、支持按字节寻址和高密度等优点,有望成为未来DRAM的替代品。然而,在NVM中实现学习索引存在许多挑战。首先,现有的NVM树形索引依靠小节点结构来实现高效的崩溃一致性,但这类设计无法在学习索引的大节点中保持高效。其次,现有的学习索引结构对NVM不友好,需要设计新的结构来适应NVM的特性。PLIN采用了若干新的设计,包括NVM感知的数据放置策略、模型副本机制、局部无序且全局有序的叶子节点以及分层插入策略。本论文利用真实的英特尔傲腾持久内存搭建了实验环境,并使用多种实验负载和真实数据集对PLIN进行了性能评测。结果表明,PLIN的读写性能优于其它NVM索引,包括FPTree、Fast&Fair 以及 TLBtree。(3)针对学习索引无法有效支持变长键的问题,本论文提出了一种支持变长键的学习索引—LIVAK。LIVAK的整体结构是一棵Trie树,树中每个节点用于索引键的8字节长度切片。LIVAK采用了学习索引和B+树两种类型的节点,它使用学习索引作为数据规模较大的Trie树节点,同时使用B+树作为数据规模较小的Trie树节点。此外,LIVAK使用路径压缩技术来处理较长的键,并通过字符重编码来避免键分布不连续导致的学习索引性能下降。在多种实验负载和真实数据集上的实验结果表明,LIVAK的读写性能优于Trie树的变体Masstree以及目前最新的支持变长键的学习索引SIndex。

关键词：学习索引索引技术 CPU缓存非易失内存变长键

来源：评论

学校读者我要写书评

暂无评论

基于分区层次图的海量高维数据学习索引构建方法

引用

计算机工程与科学 2024年第7期46卷 1193-1201页

作者：华悦琳周晓磊范强王芳潇严浩南京信息工程大学计算机学院、网络空间安全学院江苏南京210044 国防科技大学第六十三研究所江苏南京210007 国防科技大学大数据与决策实验室湖南长沙410073

学习索引是破解海量高维数据近似最近邻搜索问题的关键。然而,现有学习索引技术结果仅局限于单个分区中,且依赖于近邻图的构建。随着数据维度和规模的增长,索引难以对分区边界数据进行精确判断,并且构建时间复杂度增大,可扩展性难以保... 详细信息

学习索引是破解海量高维数据近似最近邻搜索问题的关键。然而,现有学习索引技术结果仅局限于单个分区中,且依赖于近邻图的构建。随着数据维度和规模的增长,索引难以对分区边界数据进行精确判断,并且构建时间复杂度增大,可扩展性难以保障。针对上述问题,提出了基于分区层次图的学习索引方法PBO-HNSW。该方法对分区边界数据进行重新分配,并行构建分布式图索引结构,从而有效应对近似最近邻搜索问题所面临的挑战。实验结果表明,该方法能够在百万级海量高维数据上实现毫秒级的索引构建。当召回率为0.93时,PBO-HNSW方法构建时间仅为基线方法的36.4%。

关键词：近似最近邻搜索学习索引层次可导航小世界图分区学习索引结构

来源：评论

学校读者我要写书评

暂无评论

APLI:一种基于持久化内存的高性能学习索引

引用

小型微型计算机系统 2024年第9期45卷 2110-2118页

作者：王中华赖必梁赵泽阳鲁凯万继光武汉光电国家研究中心华中科技大学武汉430074 计算机科学与技术学院华中科技大学武汉430074

持久化内存(Persistent Memory,PM)已成为容量有限的DRAM的最有潜力的补充或者替代品.学习索引(Learned Index,LI)作为一种感知数据分布的索引结构,在大数据集上能够以较小的内存使用量展现远优于B+树的性能而被广泛关注.最近,一些研究... 详细信息

持久化内存(Persistent Memory,PM)已成为容量有限的DRAM的最有潜力的补充或者替代品.学习索引(Learned Index,LI)作为一种感知数据分布的索引结构,在大数据集上能够以较小的内存使用量展现远优于B+树的性能而被广泛关注.最近,一些研究者尝试将学习索引部署在持久化内存中,然而现有的持久化学习索引存在读写性能次优化、结构扩展性不足、动态负载性能不统一等问题.为此,本文在深入分析了持久化内存和学习索引特性的基础上,提出了一种自适应的持久化学习索引结构***由两部分组成:1)高效的混合介质的持久化学习索引树(EPL-Tree),提供稳定的读写性能和结构扩展;2)轻量级的哈希表(SW-Table),用于快速感知负载变化并提升热点访问的性能.在持久化内存真实设备上的评估表明,相比现有的持久化索引结构,APLI读写性能最高分别提升3.2倍和3.3倍,而且拥有更稳定的结构扩展性能.另外,APLI能在较小的DRAM空间占用前提下,实现各种负载场景下的稳定高性能访问.

关键词：非易失内存索引结构学习索引持久化索引键值存储

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：