检索结果-内蒙古大学图书馆

计算机学报 2016年第1期39卷 140-153页

作者：葛微罗圣美周文辉赵頔唐云周娟曲文武袁春风黄宜华南京大学计算机软件新技术国家重点实验室南京210046 江苏省软件新技术与产业化协同创新中心南京210046 中兴通讯股份有限公司南京210012 清华大学计算机科学与技术系北京100084

大数据时代,众多应用领域的数据量爆炸式增长,迫切需要研究和寻找有效的大数据存储管理方法,提供实时或准实时的大数据查询分析能力.Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase只有主... 详细信息

大数据时代,众多应用领域的数据量爆炸式增长,迫切需要研究和寻找有效的大数据存储管理方法,提供实时或准实时的大数据查询分析能力.Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase只有主键索引,不支持非主键索引,这导致HBase的数据查询效率较低,难以满足数据实时或准实时查询需求.为此,在HBase基础上提供面向非主键的快速查询能力,是目前Hadoop环境下急需研究和解决的一个重要问题.该文研究提出了一种基于分层式HBase非主键索引的查询模型和方法,该模型和方法首先建立基于HBase的持久性索引.然后,为了利用内存提升查询性能,该文进一步提出了一种索引热点数据缓存技术和一种高效的热度累积缓存替换策略,以降低对HBase索引表的磁盘访问开销.热度累积缓存替换策略克服了最近最少使用（LRU）算法的局限性,考虑数据访问的累积热度和时间局部特性,从而更准确地捕获数据访问的特征.为了使索引热点数据缓存内存层具有良好的可扩展性,HiBase设计了基于一致性哈希的分布式内存缓存,支持高效的基于非主键的单点查询和范围查询.最终,该文设计实现了完整的分层式索引和查询系统HiBase.在千万至十亿条记录规模数据集上的测试结果表明,HiBase冷查询响应时间比标准HBase快65倍（大结果集）到3000多倍（小结果集）;而引入基于查询热度累积算法的内存索引缓存方法后,热查询性能可在HiBase冷查询基础上再提升5~15倍,使得总体查询性能比标准HBase快300多倍（大结果集）到1.7万倍（小结果集）,比开源的Hindex系统快5~20倍.

关键词： HBase 非主键索引查询处理分层式索引缓存替换策略大数据

来源：评论

学校读者我要写书评

暂无评论

嵌入式主动实时数据库ARTs-EDB的索引技术

嵌入式主动实时数据库ARTs-EDB的索引技术

引用

作者：蔡博克华中科技大学

学位级别：硕士

实时数据库(Real-Time Database, RTDB)中的数据和事务都具有显式的定时限制,系统的正确性不仅依赖于逻辑结果,更依赖于逻辑结果产生的时间。RTDB的高性能要求以内存数据库(Main-Memory Database, MMDB)作为低层支持。索引是提高数据库... 详细信息

实时数据库(Real-Time Database, RTDB)中的数据和事务都具有显式的定时限制,系统的正确性不仅依赖于逻辑结果,更依赖于逻辑结果产生的时间。RTDB的高性能要求以内存数据库(Main-Memory Database, MMDB)作为低层支持。索引是提高数据库系统执行效率的一种有效工具,索引选择问题是数据库物理设计中一个重要的优化问题,在内存数据库上建立索引必然要受内存的快速存取以及高效利用影响。 ARTs-EDB是自行研发、拥有自主知识产权的嵌入式主动实时数据库系统。以内存数据库作为其底层支持。大量的数据放到内存中,使得在内存中找到目标数据所用的时间不可忽略,因此,在内存数据库中,除了要使用传统的索引机制外,还要引入用于查找内存中的数据的索引。而非主键索引是一个比主键索引使用频率更高、设计更为复杂的索引机制。在分析了用于查找内存数据的非主键索引的特性之后,设计并实现了一个适合于内存数据库的非主键索引机制。此索引机制使用倒排表实现,支持区间查找,并使用一个高效算法实现联合查找,而索引机制本身不需要创建联合索引。实验证明,此索引结构比传统的散列表结构有更优的查找性能和更高的内存利用率。此索引结构的缺点在于创建的代价高,因此,系统引入了热度评价模块来支持此索引机制。热度评价模块根据属性在当前一段时间内使用的频率等因素对其进行合理的分类。系统依据属性的类型决定是否要基于此属性创建非主键索引、是否要保存此非主键索引。使用有限的内存空间保存“热门”数据的非主键索引,使得系统在不频繁的创建非主键索引的前提下,有较高的“索引命中率”。在自主研制的嵌入式主动实时数据库管理系统ARTs-EDB上,实验结果表明上述索引机制较之传统的索引机制,在时空性能上有大幅度的提高。

关键词：实时数据库索引结构非主键索引数据热门度

来源：评论

学校读者我要写书评

暂无评论

面向范围查询的索引及查询技术研究与实现

面向范围查询的索引及查询技术研究与实现

引用

作者：陈旻南京大学

学位级别：硕士

随着互联网应用的迅速发展,全球数据正以爆炸式的速度增长。数据规模扩大的同时,数据的种类也变得更加多样化。传统型数据库虽然能够支持复杂的数据查询和保证数据的一致性,但在扩展性和支持的数据类型上有一定的局限性。为了有效存储... 详细信息

随着互联网应用的迅速发展,全球数据正以爆炸式的速度增长。数据规模扩大的同时,数据的种类也变得更加多样化。传统型数据库虽然能够支持复杂的数据查询和保证数据的一致性,但在扩展性和支持的数据类型上有一定的局限性。为了有效存储和管理海量数据,出现了 NoSQL数据库。NoSQL数据库不同于传统的关系型数据库,它支持灵活的数据模型,并且可以通过增加节点的方式来扩大数据库的容量。HBase是一种典型的分布式、面向列的NoSQL数据库,可以对结构化、半结构化、甚至非结构化的海量数据进行实时的读写和随机访问。HBase按照主键的字节字典序存储每一行记录,因此支持基于主键的快速查询,但在有些应用场景下可能需要对其他非主键字段进行查询。HBase目前并未对非主键建立索引机制,所以非主键的查询需要对HBase整张表进行扫描,查询效率很低。随着HBase被国内外企业、科研机构广泛使用,针对HBase的查询性能优化已经成为大数据存储管理研究中一个热点研究问题。为了进一步加速非主键数据的范围查询,本文提出了非主键索引数据分块管理的方法,将数据管理粒度由一条记录扩大为一个数据块,从而减少建立索引的空间开销和查询索引的时间开销。此外,本文还提出自适应调整数据块的方法,使得数据块的划分与范围查询请求序列的分布规律相接近。基于以上技术方法,本文对HBase非主键数据建立索引,并构建了基于数据分块的分层式索引管理系统,进一步提升了 HBase非主键范围查询的性能。本文的主要工作和贡献如下:(1)针对范围查询,本文提出索引数据分块管理的方法,并使用跳表结构管理数据块的元信息。为了使数据块的划分更加合理,本文提出基于访问热度的自适应分块方法。此外,本文还提出了基于数据块的分层式索引存储模型。实验表明,基于自适应数据块的索引管理能够减少索引查询的时间开销。(2)本文提出一种基于跳表和分层式索引的范围查询方法。同时,为了在缓存层获得较高的命中率,针对各种常见替换策略的不足,本文提出一种基于自适应分块的缓存替换策略AdaHotscore。实验结果显示,在缓存空间较小时AdaHotscore替换算法能很好地预测冷热数据块,并将热数据块缓存到内存,来提升系统的整体性能。(3)基于以上提出的技术方法,本文研究实现了基于数据分块的分层式索引查询系统。实验表明,与HBase系统相比,本系统对非主键的范围查询性能提升了数百倍;与HiBase系统相比,本系统对非主键的范围查询性能提升了 5～6倍。最后通过测试本系统在不同数据集规模和不同节点规模下的表现,证明了本系统具有良好的可扩展性和可用性。

关键词：范围查询自适应分块非主键索引分层式存储缓存替换策略

来源：评论

学校读者我要写书评

暂无评论

基于HBase和内存数据库的索引和查询技术研究与系统实现

基于HBase和内存数据库的索引和查询技术研究与系统实现

引用

作者：周文辉南京大学

学位级别：硕士

随着互联网应用的规模化、普及化,计算机技术的不断发展,互联网产生的数据正在高速增长且在可见的未来内日益庞大。针对海量数据的存储、查询和挖掘处理成为了目前的热点问题。Google公司公开发表的三篇云计算领域的经典论文后,人们开... 详细信息

随着互联网应用的规模化、普及化,计算机技术的不断发展,互联网产生的数据正在高速增长且在可见的未来内日益庞大。针对海量数据的存储、查询和挖掘处理成为了目前的热点问题。Google公司公开发表的三篇云计算领域的经典论文后,人们开始重新思考海量数据的存储方式,非关系型数据存储系统开始逐渐成为大数据时代数据存储的主流。HBase是Apache社区Hadoop项目下参考BigTable实现的一个开源子项目,是一个典型的基于列族的非关系型数据库。在实际应用中,HBase可以高效支持以主键为条件的查询请求,在面对以非主键为条件的查询请求时则需要对全表进行扫描,效率低下,难以满足一些需要快速响应的应用场景。在传统关系数据库领域,面对这样的问题,通常会借助索引来解决。为了提高查询响应时间,减少查询开销,人们开始研究在HBase上建立非主键索引的方法。本文的主要研究工作分为以下三个部分：(1)在分析顺序索引存储模型与哈希索引存储模型的基础上,面向遵循着80/20法则的特定应用场景,借鉴层次化存储体系结构思想,提出一种支持HBase索引存储的分层式索引存储模型。该模型主要分为两层：持久存储层,用来存储HBase用户表的所有索引数据；索引缓存层,用来存储部分被频繁访问的索引数据,作为持久存储层的缓存以加速查询。(2)研究实现分层式索引存储管理机制,并通过设计使分层式索引存储系统具有良好的可扩展性和高可用性。此外,针对海量数据场景下使用LRU的不足,提出一种对热数据敏感的缓存替换策略,该策略使用指数平滑的方法来有效地预测索引热度。(3)研究实现基于分层式索引系统的快速数据查询方法,主要支持单值查询和范围查询。并针对范围查询中存在通信开销较大等问题,提出对范围查询的改进方法。本文通过与LRU的对比实验,验证了对热数据敏感的缓存替换策略的有效性；通过扩展性实验分析验证了分层式索引系统的数据可扩展性和节点可扩展性；并通过与同类索引系统的对比,验证了分层式索引系统对HBase非主键查询带来的性能提升。

关键词：大数据 HBase 非主键索引分层式存储缓存替换策略

来源：评论

学校读者我要写书评

暂无评论

一种基于TwemProxy的HBase索引缓存方案

引用

信息技术 2017年第10期41卷 103-107,117页

作者：瞿龙俊李星毅江苏大学计算机科学与通信工程学院江苏镇江212000

随着大数据时代的到来,数据量呈现爆炸式增长,HBase作为一种非关系型数据库为企业级用户提供了具有高可扩展性的系统平台,然而HBase采用类B+树索引设计,不支持非主键索引,在应对基于非主键索引请求时,查询效率较低,难以应用于实时性较... 详细信息

随着大数据时代的到来,数据量呈现爆炸式增长,HBase作为一种非关系型数据库为企业级用户提供了具有高可扩展性的系统平台,然而HBase采用类B+树索引设计,不支持非主键索引,在应对基于非主键索引请求时,查询效率较低,难以应用于实时性较高的业务需求。文章设计并实现了一种非主健索引的HBase分布式集群优化方案,使用基于Twemproxy的Redis集群作为缓存设计方案,提出基于热度积累的缓存替换算法,降低HBase扫描的资源访问开销,提高索引性能。实验结果表明:改进后的集群设计方案较传统分布式HBase数据库在非主键查询效率上有较明显性能提升,在缓存命中率上提升约20%,并且保持良好的可扩展性。

关键词： HBase 非主键索引 Redis 缓存模型淘汰算法

来源：评论

学校读者我要写书评

暂无评论

大规模结构化及半结构化生物数据查询方法研究

大规模结构化及半结构化生物数据查询方法研究

引用

作者：刘秋如哈尔滨工业大学

学位级别：硕士

人类基因组计划的启动和顺利实施,使得对生命与科学的研究迈进了后基因组时代,各种基因组学、蛋白质以及疾病等相关的生物大数据呈现爆炸性增长的趋势,研究这些海量生物数据会给生命科学技术提供广阔的前景。但相继而来的便是给传统计... 详细信息

人类基因组计划的启动和顺利实施,使得对生命与科学的研究迈进了后基因组时代,各种基因组学、蛋白质以及疾病等相关的生物大数据呈现爆炸性增长的趋势,研究这些海量生物数据会给生命科学技术提供广阔的前景。但相继而来的便是给传统计算设备带来的巨大的计算压力。如何从“海量”的生物数据中挖掘出有价值的信息是生物信息学研究的主要目的,也是目前制约生物学发展的主要瓶颈。因此,迫切需要对大规模的生物数据进行处理与分析。而近些年发展起来的大数据云计算等技术为海量生物数据的管理与分析指明了一个新的方向。本文探讨的就是如何利用大数据以及云平台的相关知识和原理实现对大规模结构化及半结构化生物数据的存储与高效查询工作。本文利用大数据的相关技术,研究了基于分布式计算平台Hadoop及其分布式处理框架Map Reduce的大规模的结构化和半结构化生物数据存储与查询方法。首先,利用分布式数据库Hbase存储经过映射转换后的大规模生物数据,同时结合分布式并行计算框架Map Reduce设计相应的大规模生物护具查询算法,实现了对海量生物数据的高效处理。然后提出了基于Hbase的非主键的索引方法,进而对大规模生物数据查询方法进行了性能优化。在此基础上,研发了涵盖大规模生物数据存储、查询预处理、查询、非主键索引等功能的大规模生物数据管理系统,该系统利用分布式数据库Hbase来存储异构的大规模结构化和半结构化生物数据,通过相应的映射转换模型,实现了异构生物数据的统一化查询处理。同时该系统充分利用分布式并行框架Map Reduce的优点,很好的适应了日益增长的大规模生物数据管理需求,提升了生物大数据的处理效率。最后,通过一系列对比实验,对本文提出的算法和系统进行了验证。实验结果表明,相比于传统存储查询处理方法,本文所提出的相关方法在处理性能上具有明显优势。

关键词：结构化半结构化生物数据大数据分布式计算平台非主键索引

来源：评论

学校读者我要写书评

暂无评论

路面影像大数据的检索方法及可视化研究

路面影像大数据的检索方法及可视化研究

引用

作者：魏柏安北京建筑大学

学位级别：硕士

城市道路是一个城市的血管,长期受交通重载荷及雨水等环境作用侵蚀,路面会出现裂缝、坑槽、沉陷等病害症状,直接影响到国家经济建设的持续发展和人民的生命财产安全。随着道路病害智能识别技术及互联网技术的迅猛发展,路面影像大数据急... 详细信息

城市道路是一个城市的血管,长期受交通重载荷及雨水等环境作用侵蚀,路面会出现裂缝、坑槽、沉陷等病害症状,直接影响到国家经济建设的持续发展和人民的生命财产安全。随着道路病害智能识别技术及互联网技术的迅猛发展,路面影像大数据急剧增长,这对数据的管理、检索与服务提出了很高的要求。HBase以其高性能、高可靠性和高扩展性成为存储路面影像大数据的优先选择。然而,原生HBase缺乏对时空主键索引和非主键索引的支持,无法直接满足路面影像大数据高效的时空主键查询和非主键查询需求。针对这一问题,本文致力于探索路面影像大数据在时空主键查询与非主键查询上的检索优化方法,并将检索数据集进行有效可视化表达,从而为道路管养部门提供决策支持。本文的主要工作内容如下: (1)设计基于HBase的路面影像大数据存储结构搭建由一个主节点与两个从节点构成的Hadoop分布式集群,并基于HBase数据库实现路面影像大数据的分布式存储。采用网格划分策略设置数据预分区,并利用哈希算法为各分区生成唯一编码,从而分散写入操作,实现负载均衡。实验结果表明,预分区后的数据写入性能明显优于预分区前的数据写入性能;为维持HBase集群在处理大规模数据时的卓越性能,本研究只设计两个列族,分别用于存储路面病害影像的二进制文件和路面病害影像的文本数据;行键的设计同时结合了数据的空间信息与时间信息,利用Geohash的降维思想,进一步提升了路面影像数据的主键检索效率。 (2)提出一种基于Geohash的时空区域主键检索方法本研究首先定义了时空区域的查询规则,其次设定了分区匹配算法,旨在基于Geohash编码的行键结构提升对路面影像大数据的时空区域主键查询效率。本研究仅支持矩形区域查询与圆形区域查询两种查询类型。在选定查询时间范围后,通过获取矩形区域或圆形区域最小外接矩形左上角点与右下角点的经纬度坐标值来准确匹配查询范围内路面影像大数据所在Region,并在HBase中扫描并输出检索数据集。若是矩形区域查询,则直接输出结果集;若是圆形区域查询,还需筛选出所有到查询点距离小于查询半径的结果。实验结果表明,本文提出的结合数据预分区的时空区域主键检索方法在空间范围的区域查询和时间范围的区域查询中均明显优于其他两种方法,且随着查询区域或时间范围的扩大,性能优势越明显。 (3)提出一种基于HBase的分层式非主键检索方法针对HBase在非主键检索上的劣势,本文提出了一种分层式非主键索引模型,旨在通过分层式的优化策略来提升对路面影像大数据的非主键查询效率。首先,在模型上层设置了一个布隆过滤器,用来过滤无法与数据库中的数据相匹配的查询指令,从而减少大量I/O开销;其次,筛选通过的查询指令将会进入模型下层,通过本文提出的索引表优化策略,将索引表与数据表置于同一个RegionServer下,即可再减少两次I/O开销。实验结果表明,两层优化策略均能提升路面影像大数据的非主键检索性能,且同时使用时提升效果更好,能将访问延迟降低17.0%-31.7%。 (4)搭建路面影像大数据分析与可视化平台平台基于Vue+SpringBoot+HBase的开发框架,搭建了一个前后端分离的路面影像大数据分析与可视化平台。旨在通过本文所提的检索方法高效获取路面影像大数据,结合WebGIS先进可视化技术及地图API技术,实现病害数据与道路信息的深度融合,呈现直观、生动的可视化效果,有助于公路养护人员做出科学决策,推动道路养护行业精细化发展。

关键词：路面影像数据 Geohash HBase 时空区域查询非主键索引交互可视化

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：