检索结果-内蒙古大学图书馆

武汉大学学报（理学版） 2003年第3期49卷 327-332页

作者：刘怡沈宇希中国人民大学数据与知识工程研究所北京100872

提出了VAC(vectorapproximationclustering)索引方法 ,该方法针对多维空间中存在的大数据量问题 ,利用空间类聚类和数据压缩结合的方法 ,综合了层次索引和顺序扫描的优势 ,提高了多维空间中的检索速度 ,对于多维空间中常见的复杂检索方... 详细信息

提出了VAC(vectorapproximationclustering)索引方法 ,该方法针对多维空间中存在的大数据量问题 ,利用空间类聚类和数据压缩结合的方法 ,综合了层次索引和顺序扫描的优势 ,提高了多维空间中的检索速度 ,对于多维空间中常见的复杂检索方式如NN查询和范围查询提供了较好的支持 .分析与实验结果均表明 ,VAC方法在数据量和空间维数都很高的情况下都取得了令人满意的效果 .

关键词： VAC 索引方法空间类聚类数据压缩多维索引多媒体数据库层次索引顺序扫描

来源：评论

学校读者我要写书评

暂无评论

一种适用于点和区间混合型维度数据集的多维索引

引用

国防科技大学学报 2009年第3期31卷 104-109页

作者：张翀唐九阳戴长华肖卫东国防科技大学信息系统与管理学院湖南长沙410073

点和区间混合型维度数据集是空间数据库系统和GIS中重要的数据对象。在分析研究R*树和SS树的基础上,提出了一种适用于索引点和区间混合型维度数据集的索引结构——PI树。PI树利用超球划分数据集的多维空间,以提高结点存储利用率,从而降... 详细信息

点和区间混合型维度数据集是空间数据库系统和GIS中重要的数据对象。在分析研究R*树和SS树的基础上,提出了一种适用于索引点和区间混合型维度数据集的索引结构——PI树。PI树利用超球划分数据集的多维空间,以提高结点存储利用率,从而降低数据插入时的I/O次数。文章给出了PI树插入、删除和查询算法的形式化描述。理论分析和实验结果表明,所提的PI树性能上总体优于R*树。

关键词：点和区间混合型维度多维索引 PI树

来源：评论

学校读者我要写书评

暂无评论

基于代价估计的Hive多维索引分割策略选择算法

引用

计算机研究与发展 2016年第4期53卷 798-810页

作者：刘越李锦涛虎嵩林中国科学院计算技术研究所北京100190 中国科学院大学北京100049 中国科学院信息工程研究所北京100093

在能源互联网、智慧城市等新兴领域,智能终端采集的庞大数据往往需要多维分析,传统企业寻求借助互联网技术（如Hadoop和Hive）应对大数据问题.但是Hive当前的多维索引能力较弱,无法满足传统企业的需求.针对这一问题,提出了一种基于分布... 详细信息

在能源互联网、智慧城市等新兴领域,智能终端采集的庞大数据往往需要多维分析,传统企业寻求借助互联网技术（如Hadoop和Hive）应对大数据问题.但是Hive当前的多维索引能力较弱,无法满足传统企业的需求.针对这一问题,提出了一种基于分布式网格文件的多维索引技术——DGFIndex,来提升Hive的多维查询处理能力.但是在创建DGFIndex时,需要用户指定各个索引维度的分割粒度,而分割粒度的大小与查询性能息息相关.在用户对数据与查询特征不熟悉时,很难选择较优的分割策略.为了解决这一问题,通过建立新的MapReduce代价模型,并使用两阶段模拟退火算法为DGFIndex搜索较优的分割策略,从而提升查询性能,减少查询集合的总耗时.实验结果表明：DGFIndex可以提升Hive多维查询性能50%～114%,对于固定的查询集合,与人工选定分割策略比较,基于代价估计的分割策略选择算法可以为DGFIndex快速选定较优的分割策略,并可以使整个查询集合的处理时间比人工方法最多减少30%.

关键词： Hive MapReduce 多维索引代价模型模拟退火

来源：评论

学校读者我要写书评

暂无评论

多维索引hB树的改进方法——hB*树

引用

软件学报 1998年第3期9卷 206-212页

作者：金树东冯玉才孙小薇华中理工大学计算机科学与工程系

本文在ｈＢ树基础上提出多属性索引方法——ｈＢ＊树．ｈＢ＊树索引结点溢出时先寻求避免分裂，以期得到较好的空间利用率；通过避免和消除多父结点，使ｈＢ＊树成为严格的树形结构．本文表明ｈＢ＊树提高了空间利用率，树形化的代价也... 详细信息

本文在ｈＢ树基础上提出多属性索引方法——ｈＢ＊树．ｈＢ＊树索引结点溢出时先寻求避免分裂，以期得到较好的空间利用率；通过避免和消除多父结点，使ｈＢ＊树成为严格的树形结构．本文表明ｈＢ＊树提高了空间利用率，树形化的代价也不高．

关键词：多维索引 B树 hB树数据结构

来源：评论

学校读者我要写书评

暂无评论

引入角度信息改进的NB-Tree多维索引方法

引用

计算机应用 2006年第B6期26卷 253-254,263页

作者：徐焕林坤辉周昌乐厦门大学软件学院福建厦门361005 厦门大学信息科学与技术学院福建厦门361005

NB-Tree的缺点是只存储了对象的欧氏距离,忽略了具有相同欧氏距离的对象的位置信息,在范围检索中,不可避免会有欧氏距离相近而多维矢量并不相关的对象被作为检索对象读入内存,进行二次过滤,增大了不必要的I/O操作和距离计算。针对NB-Tre... 详细信息

NB-Tree的缺点是只存储了对象的欧氏距离,忽略了具有相同欧氏距离的对象的位置信息,在范围检索中,不可避免会有欧氏距离相近而多维矢量并不相关的对象被作为检索对象读入内存,进行二次过滤,增大了不必要的I/O操作和距离计算。针对NB-Tree的不足,引入多维矢量的空间位置信息:与矢量[1,1,…,1,1n]的偏移角,提出了一种新的索引结构:New-NB-Tree,通过较少的计算,进一步加强过滤。

关键词：多维索引欧氏距离偏移角

来源：评论

学校读者我要写书评

暂无评论

基于内容的图像检索中的一种多维索引算法

引用

计算机工程与应用 2003年第9期39卷 112-114页

作者：王朝晖龚声蓉唐国维苏州大学计算机系苏州215006 大庆石油学院计算机科学与技术系黑龙江安达151400

由于图像信息越来越丰富,因此,基于内容的图像检索成为一个重要研究课题。在基于内容的图像检索中,需要解决的关键问题之一就是如何快速、有效地搜索。该文提出了一种与特征维数相关性极小的多维索引方法,从而提高了检索效率。该方法尤... 详细信息

由于图像信息越来越丰富,因此,基于内容的图像检索成为一个重要研究课题。在基于内容的图像检索中,需要解决的关键问题之一就是如何快速、有效地搜索。该文提出了一种与特征维数相关性极小的多维索引方法,从而提高了检索效率。该方法尤其适合于用户对查准率要求不高的情况下相关图像的查询。

关键词：图像数据库图像检索相似性度量多维索引

来源：评论

学校读者我要写书评

暂无评论

基于KDG-tree的数据库多维索引技术

引用

计算机应用与软件 2013年第6期30卷 162-165页

作者：李晓东陈俊健曾凡智佛山科学技术学院电子与信息工程学院广东佛山528000

针对目前网格索引(Grid index)的冗余数据及KD-tree等多维索引的维度灾难等问题,提出一种将网格索引与二叉搜索树结合起来的高效索引结构KDG-tree。KDG-tree通过纵横向指针将结点链接起来构成二叉索引树,树中的结点分为中间索引结点和... 详细信息

针对目前网格索引(Grid index)的冗余数据及KD-tree等多维索引的维度灾难等问题,提出一种将网格索引与二叉搜索树结合起来的高效索引结构KDG-tree。KDG-tree通过纵横向指针将结点链接起来构成二叉索引树,树中的结点分为中间索引结点和叶子结点,所有数据对象只存于叶子结点。创建索引时分别从高维到低维按结点索引值顺序插入,查找对象时逐维搜索。实验分析表明,KDG-tree避免了Grid index的数据冗余,又改进了KD-tree与KDB-tree的性能,是一种适合高维海量数据的多维索引。

关键词：多维索引 KDG-tree 网格索引 KD-tree KDB-tree

来源：评论

学校读者我要写书评

暂无评论

CloudIndexEval:面向云平台上多维索引的评测系统

引用

计算机研究与发展 2013年第S1期50卷 431-434页

作者：周新王延昊刘辰宋少华张孝王珊中国人民大学信息学院北京100872 数据工程与知识工程教育部重点实验室(中国人民大学) 北京100872

大数据管理给分布式多维索引技术带来新的挑战,很多研究者提出基于云平台的分布式多维索引架构以提高大数据的查询效率.为了在同一种云平台下全面的评测各种不同的多维索引方法,提出并实现了一个多维索引评测系统———***不仅支持现有... 详细信息

大数据管理给分布式多维索引技术带来新的挑战,很多研究者提出基于云平台的分布式多维索引架构以提高大数据的查询效率.为了在同一种云平台下全面的评测各种不同的多维索引方法,提出并实现了一个多维索引评测系统———***不仅支持现有的几种基于云平台的多维索引,并且能够被扩展到新的多维索引方法上.该系统生成统一的测试用例,评测索引性能的基本指标和影响索引性能的因子,并图形化地展示评测结果.

关键词：分布式多维索引云平台基准测试原型系统

来源：评论

学校读者我要写书评

暂无评论

基于内容图像检索中的一种动态多维索引方法

引用

计算机工程与应用 2006年第23期42卷 161-164页

作者：徐焕林坤辉周昌乐厦门大学软件学院福建厦门361005 厦门大学信息科学与技术学院福建厦门361005

多维索引技术是基于内容检索的图像数据库的关键技术。SR-tree和X-tree是目前比较成熟有效的多维索引技术。为了提高多维索引的性能,我们在分析SR-tree和X-tree的结构和性能的基础上,针对SR-tree分裂算法的不足,引入X-tree中超级节点的... 详细信息

多维索引技术是基于内容检索的图像数据库的关键技术。SR-tree和X-tree是目前比较成熟有效的多维索引技术。为了提高多维索引的性能,我们在分析SR-tree和X-tree的结构和性能的基础上,针对SR-tree分裂算法的不足,引入X-tree中超级节点的思想,通过改进插入和分裂算法,设计了一种新的多维索引结构ESR-tree,即ExtendedSR-tree。实验表明,随着数据量和维数的增多,ESR-tree的性能明显优于SR-tree和X-tree。

关键词：基于内容检索多维索引超球体超矩形

来源：评论

学校读者我要写书评

暂无评论

基于分布式网格文件的大数据多维索引技术研究

基于分布式网格文件的大数据多维索引技术研究

引用

作者：刘越中国科学院大学

学位级别：博士

互联网、移动互联网与物联网的高速发展所导致的日益激增的数据量给各大企业带来前所未有的挑战，以往占主导地位的传统关系型数据库在数据写入能力、存储能力、计算能力与系统可扩展性等方面都出现了瓶颈。为了应对大数据的挑战，以Had... 详细信息

互联网、移动互联网与物联网的高速发展所导致的日益激增的数据量给各大企业带来前所未有的挑战，以往占主导地位的传统关系型数据库在数据写入能力、存储能力、计算能力与系统可扩展性等方面都出现了瓶颈。为了应对大数据的挑战，以Hadoop/Hive为代表的大数据存储与计算系统得到了广泛的应用，这类系统通过弱化传统关系型数据库的某些高级特性（如事务、索引等）来提升计算的吞吐能力。但是随着应用的进一步深化，某些应用既需要传统关系型数据库的某些高级特性又需要Hadoop/Hive的高吞吐计算能力，这就需要在两者之间折中。例如，对智能电网应用中电表采集类数据或互联网应用中日志类数据的多维分析，既需要传统关系型数据库中的多维索引技术又需要Hadoop/Hive的高吞吐计算能力来提升查询性能。由于关系型数据库设计原理的限制，很难达到大数据系统的计算吞吐量与系统扩展性，因此只能通过增强Hadoop/Hive的某些高级特性来满足这类应用的需求。在增强大数据系统高级特性的研究中，多维索引技术研究成为近年来的研究热点之一，引起了学术界与工业界的极大兴趣。\n 本文主要研究大数据下的多维索引问题，诸多大数据计算引擎，如Hive、Spark与Impala等都使用Hadoop中的文件系统作为底层存储，使用相同的文件格式，具有相同的数据读取流程。但是它们在索引技术方面仍存在诸多不足:(1)相关索引技术在处理高基数多维查询时存在组合爆炸问题，空间复杂度高，查询性能较低;(2)随着相关研究的进展与开源社区的发展，出现了多种多维索引技术与列式存储，两者都是过滤查询无关数据的有效手段，但是缺乏统一的评测基准与最佳实践指导方法，制约了索引技术与列式存储的广泛应用;(3)相关索引技术中的索引粒度或采用固定经验值、或采用由用户指定的方法，无法选取最优的索引粒度，查询性能较低。\n 由于Hive是众多大数据计算引擎中对索引与列式存储支持最完善的系统，因此本文以其作为研究的系统基础。本文聚焦在上述三点不足，围绕Hive多维查询能力较弱的问题作出了一系列的研究工作，具体如下:\n 1.提出并实现了一种面向Hive的基于分布式网格文件的高性能多维索引结构—DGFIndex\n 我们以传统企业智能电网中采集类数据上的多维查询应用为研究背景，针对其数据与查询特点，为Hive提出并实现了一种高性能多维索引结构—DGFIndex(DistributedGrid File Index，分布式网格文件索引)。该索引使用网格文件将数据空间分割为多维数据片。在查询处理时，DGFIndex可以以较细的粒度过滤查询无关的数据，极大地减少读取的数据量，从而提升查询性能。此外，在创建索引时，通过预计算每个数据片的聚集值并存储在索引结构中，从而达到进一步减少处理多维聚集值查询读取数据量的目的。最后，DGFIndex使用分布式存储系统保存索引结构，并使用基于键值的访问方式读取索引来提升索引的读取性能。基于智能电网真实测试集与TPC-H测试集的实验结果表明:DGFIndex的多维查询处理速度比Hive现有索引Compact Index与HadoopDB快2-5倍。\n 2.通过系统性评测Hive中的多种索引技术与列式存储的组合方案，提出了提升多维查询的最佳实践方法(Best Practice)\n 随着索引研究工作的深入进展与Hive开源社区的快速发展，在DGFIndex同期和后期出现了多种高效的索引技术（如Compact Index、Aggregate Index、Bitmap Index、ORCFile中索引）与列式存储(如RCFile、ORC File与Parquet)。对于只涉及数据表中少数列的多维OLAP查询来说，过滤查询无关数据的有效性与查询性能密切相关，尤其是对I/O密集型应用来说。索引技术与列式存储都是过滤查询无关数据的有效手段。但是对于用户而言，根据数据与查询特点选择合适的索引技术与列式存储并不是一项简单的任务。本文针对这一问题，首先提出了两项对DGFIndex的优化，分别为对列式存储的支持和聚集的数据片放置算法。然后从理论上对Hive基于索引与列式存储的数据过滤过程进行总结分析。最后通过模拟真实企业中的数据处理流程，设计对应的数据集与查询集对其进行综合性评测，从而得出提升Hive多维查询性能的最佳实践方法，并给出未来索引设计的三条准则。\n 3.提出了一种基于代价估计的索引分割策略选择算法\n 索引粒度的大小决定了查询处理时读取的数据量与读取性能，与查询性能息息相关，过大过小都无法得到最优的查询性能，而现有索引技术的粒度或者使用固定的经验值或者由用户指定。本文以DGFIndex为索引研究对象，在DGFIndex中索引粒度的大小由分割策略决定，因此如何

关键词：大数据多维索引分布式网格文件分割策略选择算法关系数据库查询性能

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：