检索结果-内蒙古大学图书馆

作者：燕国骅天津大学

学位级别：硕士

近年来,资源描述框架(RDF)已广泛应用于知识图谱、智能搜索、社交网络等领域。随着图数据的急剧增长,RDF图存储系统开始取代传统关系型数据库。然而,现有的RDF图存储系统主要关注存储与索引的结构以及分布式存储的图划分算法,缺乏对于... 详细信息

近年来,资源描述框架(RDF)已广泛应用于知识图谱、智能搜索、社交网络等领域。随着图数据的急剧增长,RDF图存储系统开始取代传统关系型数据库。然而,现有的RDF图存储系统主要关注存储与索引的结构以及分布式存储的图划分算法,缺乏对于底层存储介质的关注。在固态硬盘(SSD)上执行数据查询时,由于RDF图数据和SSD存储介质之间的语义鸿沟,图查询可能需要多次读取闪存页。另外,随着数据的爆发式增长,外存访问的I/O等待问题成为影响存储系统的主要瓶颈。因此,如何结合SSD存储结构和RDF语义信息,以及利用SSD内部计算资源减少数据传输已成为一个亟需解决的问题。为了解决上述问题,本文从图划分算法和存储系统算子下推两个方向展开研究。(1)针对RDF图数据和SSD之间的语义鸿沟,提出了页级图划分算法。与传统图划分算法不同,页级图划分算法考虑SSD底层存储介质特性,将语义关联的顶点划分到同一闪存页中,从而在数据查询时减少闪存页读取次数。为了减少图划分对图结构的破坏,提出了冗余图划分算法,利用数据冗余存储来维持图结构完整。在该算法的基础上,利用SSD内部并行性提出了大页(Big Page)存储图划分算法,该算法将SSD并行单元组织为逻辑大页,提升图划分后的子图大小,从而减少图划分次数,降低数据冗余。(2)针对外存访问时的I/O等待问题,提出基于近存储计算(Near-Storage Computing,NSC)的算子下推。利用近存储计算模型将数据密集型算子下推到存储器内部执行,减少外存与内存之间的数据传输。设计并实现了近存储计算系统Graph Page,充分挖掘SSD性能。最后根据RDF数据集谓词种类少的特性,提出了SPARQL查询优化算法,利用数据匹配结果来减少谓词索引的使用,提升查询效率。本文在基于FPGA的开放通道SSD实验平台上部署Graph Page近存储计算系统,并使用LUBM、DBpedia等数据集评估页级图划分算法的存储空间开销以及Graph Page的查询性能。实验结果表明,本文提出的页级图划分算法可以有效地减少闪存页读取次数,提升查询效率。另外,与现有的RDF图存储系统相比,GraphPage的查询性能最高提升了2倍以上。

关键词： RDF 近存储计算图划分固态硬盘图存储系统

来源：评论

学校读者我要写书评

暂无评论

一种支持复杂关系查询的图存储系统

引用

计算机研究与发展 2014年第S1期51卷 175-186页

作者：黄硕梁英许洪波熊锦华冯凯毕晓迪中国科学院网络数据科学与技术重点实验室中国科学院计算技术研究所北京100190 中国科学院大学北京100190

大数据时代,数据间的高相关性为大数据带来了重要价值,"图"这一抽象数据结构能够很好地表示数据间的关系.复杂图数据具有数据规模大、建模需求多、关系查询复杂等特点,为图存储系统的构建带来挑战.提出了一种支持时间演化和... 详细信息

大数据时代,数据间的高相关性为大数据带来了重要价值,"图"这一抽象数据结构能够很好地表示数据间的关系.复杂图数据具有数据规模大、建模需求多、关系查询复杂等特点,为图存储系统的构建带来挑战.提出了一种支持时间演化和数据溯源的图数据模型,形式化定义了数据结构、数据操作和数据完整性约束,为大规模图数据存储系统的实现奠定了理论基础;实现了一个支持复杂数据查询的图存储系统,为分析挖掘图数据的巨大价值提供了底层基础设施技术支撑.通过实验对系统的存储、入库、查询等能力进行了效果评估,结果表明所提方法有效可行.

关键词：大数据图存储系统图数据模型复杂关系查询 Apache HBase

来源：评论

学校读者我要写书评

暂无评论

支持复杂关系查询的图存储系统及关键技术

支持复杂关系查询的图存储系统及关键技术

引用

作者：黄硕中国科学院大学

学位级别：硕士

在大数据时代，数据间的高相关性为大数据带来了重要价值，“图”这一抽象数据结构能够很好的表示数据间的关系，是一种重要的大数据描述形式。研究分布式环境下支持复杂图数据的存储系统及关键技术，为分析和挖掘社交网络、通讯网络、... 详细信息

在大数据时代，数据间的高相关性为大数据带来了重要价值，“图”这一抽象数据结构能够很好的表示数据间的关系，是一种重要的大数据描述形式。研究分布式环境下支持复杂图数据的存储系统及关键技术，为分析和挖掘社交网络、通讯网络、知识库网络等图数据的巨大价值，提供了底层基础设施技术支撑。复杂图数据具有数据规模大、建模需求多、关系查询复杂等特点，为图存储系统的构建带来了挑战，包括了大规模数据要求采用分布式架构、图存储系统要提供合适的数据模型以及多维度多约束复杂查询必须高效实现等方面。\n 现有的研究和系统无法完全应对这些挑战，因此本文设计并实现了一个面向在线应用的分布式图存储系统，研究了其中涉及的图数据模型和图缓存等关键技术，主要贡献包括了如下几个方面:\n 1.提出了一种支持时间演化和数据溯源的图数据模型，定义了数据结构、数据操作和数据完整性约束，为图存储系统的实现奠定了理论基础。\n 复杂图数据具有数据随时间不断演化、图数据与源数据相互映射等特点，实际应用中使用现有的图数据模型进行建模存在不便。在兼顾应用建模需求和底层实现优化空间的基础上，提出了一种新的支持时间维度和数据溯源的图数据模型。给出了数据结构定义的形式化描述并举例说明，规定了数据的完整性约束条件，定义了数据模型上的操作及所支持的图查询的语义。为图查询语义缓存的研究和图存储系统的实现提供了理论基础。\n 2.提出了一种融合图查询语义缓存和图数据预装载缓存的图缓存方法，有效加速了图数据上复杂查询的执行。\n 从图数据模型理论出发设计了两种缓存，面向复杂图查询的语义缓存用来缓存图查询语义和查询结果，图数据预装载缓存用来缓存图数据边表的热数据，同时针对两种缓存分别设计了缓存加载、替换和一致性维护策略。提出并证明了图查询语义的包含关系判定定理，据此设计了面向复杂图查询的语义缓存，利用查询间的语义包含关系复用查询结果数据。在图存储系统的底层存储之上增加了一层分布式图数据预装载缓存，提出了“基于结点访问日志”和“大度数优先”的两种装载方法，以缓存图数据中较“热”的部分。\n 3.设计并实现了一个支持大规模复杂图数据存储和在线查询的分布式图存储系统，成功应用于实际项目，取得了良好的效果。\n 图存储系统支持对复杂图数据进行存储和管理，基于Apache Hadoop分布式框架，以Apache HBase作为底层存储，对外提供本文提出的图数据访问接口，并采用了本文提出的图缓存方法来加速复杂查询的执行。通过实验对系统的存储、入库、查询等能力进行了效果评估，结果表明本文提出的方法有效可行。该系统在相关实际项目中进行了应用，取得了良好的效果。

关键词：图存储系统数据处理模型模拟

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：