检索结果-内蒙古大学图书馆

计算机学报 2016年第1期39卷 140-153页

作者：葛微罗圣美周文辉赵頔唐云周娟曲文武袁春风黄宜华南京大学计算机软件新技术国家重点实验室南京210046 江苏省软件新技术与产业化协同创新中心南京210046 中兴通讯股份有限公司南京210012 清华大学计算机科学与技术系北京100084

大数据时代,众多应用领域的数据量爆炸式增长,迫切需要研究和寻找有效的大数据存储管理方法,提供实时或准实时的大数据查询分析能力.Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase只有主... 详细信息

大数据时代,众多应用领域的数据量爆炸式增长,迫切需要研究和寻找有效的大数据存储管理方法,提供实时或准实时的大数据查询分析能力.Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase只有主键索引,不支持非主键索引,这导致HBase的数据查询效率较低,难以满足数据实时或准实时查询需求.为此,在HBase基础上提供面向非主键的快速查询能力,是目前Hadoop环境下急需研究和解决的一个重要问题.该文研究提出了一种基于分层式HBase非主键索引的查询模型和方法,该模型和方法首先建立基于HBase的持久性索引.然后,为了利用内存提升查询性能,该文进一步提出了一种索引热点数据缓存技术和一种高效的热度累积缓存替换策略,以降低对HBase索引表的磁盘访问开销.热度累积缓存替换策略克服了最近最少使用（LRU）算法的局限性,考虑数据访问的累积热度和时间局部特性,从而更准确地捕获数据访问的特征.为了使索引热点数据缓存内存层具有良好的可扩展性,HiBase设计了基于一致性哈希的分布式内存缓存,支持高效的基于非主键的单点查询和范围查询.最终,该文设计实现了完整的分层式索引和查询系统HiBase.在千万至十亿条记录规模数据集上的测试结果表明,HiBase冷查询响应时间比标准HBase快65倍（大结果集）到3000多倍（小结果集）;而引入基于查询热度累积算法的内存索引缓存方法后,热查询性能可在HiBase冷查询基础上再提升5~15倍,使得总体查询性能比标准HBase快300多倍（大结果集）到1.7万倍（小结果集）,比开源的Hindex系统快5~20倍.

关键词： HBase 非主键索引查询处理分层式索引缓存替换策略大数据

来源：评论

学校读者我要写书评

暂无评论

HiBase:一种基于分层式索引的高效HBase查询技术与系统

HiBase:一种基于分层式索引的高效HBase查询技术与系统

引用

第二届CCF大数据学术会议

作者：葛微罗圣美周文辉赵由頔唐云周娟曲文武袁春风黄宜华南京大学计算机软件新技术国家重点实验室南京中国210046 江苏省软件新技术与产业化协同创新中心南京中国210046 中兴通讯股份有限公司南京市雨花台区软件大道50号南京中国210012

Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase不支持非主键索引,导致HBase的数据查询效率较低,难以满足数据实时/准实时查询需求.本文研究提出了一种基于分层式HBase非主键索引的查询模... 详细信息

Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase不支持非主键索引,导致HBase的数据查询效率较低,难以满足数据实时/准实时查询需求.本文研究提出了一种基于分层式HBase非主键索引的查询模型和方法,包括基于HBase的持久性索引、基于分布式内存的索引热点数据缓存技术和高效的热度累积缓存替换策略,并实现于分层式索引和查询系统HiBase.在千万至十亿条记录规模数据集上的测试结果表明,HiBase总体查询性能比标准HBase快300多倍(大结果集)到1 7万倍(小结果集),比开源的Hindex系统快5～20倍.

关键词：数据存储系统数据查询分层式索引运行效率

来源：评论

学校读者我要写书评

暂无评论

HOS:一种基于HBase的分布式存储系统设计与实现

引用

南京邮电大学学报（自然科学版） 2019年第5期39卷 63-71页

作者：季一木张宁尧海昌李奎李航刘尚东王汝传南京邮电大学计算机学院江苏南京210023 南京邮电大学江苏省无线传感网高技术研究重点实验室江苏南京210023 南京邮电大学高性能计算与大数据处理研究所江苏南京210023 南京邮电大学高性能计算与智能处理工程研究中心江苏南京210023

大数据时代,数据快速增长,迫切需要寻找有效的数据存储方案,HBase系统具有分布式、列式存储的特点,为大数据的存储管理提供了一种高效的解决方案。由于HBase只支持主键索引,对于非主键查询效率低下,难以满足实时需求。为此,提出一种分... 详细信息

大数据时代,数据快速增长,迫切需要寻找有效的数据存储方案,HBase系统具有分布式、列式存储的特点,为大数据的存储管理提供了一种高效的解决方案。由于HBase只支持主键索引,对于非主键查询效率低下,难以满足实时需求。为此,提出一种分层式索引查询模型,该模型基于HBase建立持久性索引层,基于Redis建立分布式热点索引缓存层。前者为存储在HBase中的数据建立索引表,提高查询效率,后者基于Redis在内存中存储热点索引,降低磁盘访问开销,进一步提高查询效率。最终,依据此模型实现了分层式索引查询系统HOS,基于Imagenet图片数据集对HOS进行实验,实验结果表明,HOS数据查询性能优于标准HBase。

关键词： HBase 查询处理分层式索引分布式存储

来源：评论

学校读者我要写书评

暂无评论

HBase非主键属性索引方法及实现

HBase非主键属性索引方法及实现

引用

作者：黄璨南京航空航天大学

学位级别：硕士

当前,互联网正朝着移动化进一步发展,社交网络等新兴内容也在不断兴起,人们可以很方便地获取到想要的信息。正是随着上述新兴内容的不断发展,业务的形态变得多样化,每天产生的数据也越来越多。大数据有着不可估量的价值,数据间的关系也... 详细信息

当前,互联网正朝着移动化进一步发展,社交网络等新兴内容也在不断兴起,人们可以很方便地获取到想要的信息。正是随着上述新兴内容的不断发展,业务的形态变得多样化,每天产生的数据也越来越多。大数据有着不可估量的价值,数据间的关系也在企业的运营、决策中发挥着重要作用。所以研究和寻找有效的大数据存储管理方法,提供实时或准实时的大数据查询分析能力,成为一个亟待解决的问题。然而,在大数据以及高并发的数据读写请求的背景下,传统的关系型数据库瓶颈凸显,已经无法满足需求。而NoSQL即非关系型数据库能很好地解决上述问题,其中HBase(Hadoop Database)是一个典型应用。HBase为大数据的存储管理和查询分析提供了高效的技术和平台。虽然HBase提供主键的高效检索,然而其对非主键属性检索的支持并不是很理想,这导致了HBase的非主键属性查询效率较低,难以满足数据实时或准实时的查询需求。为此,提供HBase的面向非主键属性的高效查询,是目前HBase急需研究和解决的一个重要问题。论文对HBase非主键属性索引方法进行了深入研究,提出了一种分层式索引,其索引存储模型共分为两层。首先是第一层索引,实现基于HBase区域观察者模式的协处理器的第一层索引,索引结构采用改进的d-left计数布隆过滤器。通过第一层索引可以避免不必要的数据扫描和比较从而快速定位存储目标电子邮件数据的相关区域。其次是第二层索引,实现基于HBase区域观察者模式的协处理器的第二层索引,索引结构采用倒排索引。通过第二层索引在第一层索引定位的相关区域中继续查询目标电子邮件数据。最后,论文实现了该分层式索引并且经过试验证明,该分层式索引能有效地满足海量邮件分析应用中对非主键属性的查询需求。

关键词：大数据 HBase 非主键属性分层式索引 d-left计数布隆过滤器协处理器

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：