检索结果-内蒙古大学图书馆

作者：陈旭东重庆邮电大学

学位级别：硕士

随着spark sql和HDFS在大数据结构化查询领域的广泛应用,数据查询速度有了明显的提升,但同时也暴露出了一些问题,如HDFS默认数据块大小设置不合理影响spark sql的查询效率、spark sql读取海量小文件效率低等。这些问题在处理以4G行业应... 详细信息

随着spark sql和HDFS在大数据结构化查询领域的广泛应用,数据查询速度有了明显的提升,但同时也暴露出了一些问题,如HDFS默认数据块大小设置不合理影响spark sql的查询效率、spark sql读取海量小文件效率低等。这些问题在处理以4G行业应用卡(以下简称4G行卡)数据为代表的通信数据时尤为明显。本文主要研究4G行卡数据在HDFS上的分布式存储,通过对数据在HDFS上的存储优化来提升spark sql的查询效率。研究内容包括动态设置HDFS数据块大小以及针对海量4G行卡小文件的处理,最后根据研究成果设计并完成了4G行卡数据ETL系统。本文的主要工作如下:1.针对4G行卡数据中较大的数据,在详细分析了其在HDFS上数据块大小对spark sql查询效率的影响后,提出了根据数据大小的不同动态设置HDFS数据块大小的方案。实验结果表面,相较于HDFS默认的配置数据块大小的策略,在动态设置方案下,同一类型的数据存储更加均衡合理,spark sql的查询效率更高。2.对于spark sql读取海量小文件效率低下的问题,从理论上分析了其原因,根据4G行卡数据的特征,改进本地合并存储模型对海量小文件进行合并和转换,然后将合并转换后的小文件按时间分区存储到HDFS的方案。对于小文件的合并方式,对比分析和测试了基于Java多线程和基于spark进行合并这两种方案的性能。实验结果表明,在对海量小文件进行合并转换后,spark sql的查询效率有了显著的提升。3.本文根据上述的研究成果设计和开发了4G行卡数据ETL系统,根据4G行卡数据分析业务的需要,对各个功能模块进行了分析和实现,该系统也已经通过了客户的运行测试。

关键词： 4G行卡 spark sql HDFS 块存储小文件

来源：评论

学校读者我要写书评

暂无评论

基于机器学习的spark sql连接查询优化研究

基于机器学习的Spark SQL连接查询优化研究

引用

作者：付豪东南大学

学位级别：硕士

随着信息时代的发展,大规模的数据与复杂数据分析方法对查询引擎的性能提出了更高的需求。连接查询能够从多个关联的数据表中抽取出有价值的信息,是当前主要的查询方式。spark并行计算引擎作为流行的大数据处理框架,使用spark sql组件... 详细信息

随着信息时代的发展,大规模的数据与复杂数据分析方法对查询引擎的性能提出了更高的需求。连接查询能够从多个关联的数据表中抽取出有价值的信息,是当前主要的查询方式。spark并行计算引擎作为流行的大数据处理框架,使用spark sql组件处理结构化数据查询,能够将输入的sql查询语句经过优化后转换为spark程序执行,有效地利用了spark处理大数据任务的优势。然而spark sql在优化连接查询时仍然存在着两个关键问题:（1）连接查询结果基数估计的准确度低,导致无法准确评估查询执行计划的代价;（2）多表连接计划选择搜索空间过大,且底层实现方法依赖于技术人员的经验选择,导致选择连接计划的代价高、性能低。近年来,使用机器学习方法解决查询优化中一些传统方法难以解决的问题成为了新的研究热点。但是,现有的基于机器学习的查询优化方法在应用于大数据场景下的spark sql连接查询时,还存在着基数估计方法特征抽象简单泛化能力差、连接计划选择方法没有考虑底层具体实现等不足之处。本文针对spark sql优化连接查询时存在的问题和现有研究中的不足之处,研究基于机器学习的spark sql连接查询优化方法。首先,针对连接查询基数估计准确度低的问题,本文设计了基于深度学习的基数估计方法。通过深入分析大数据场景下基数估计的需求和连接查询的特征,引入了数据表统计信息与连接键数据分布信息设计sql查询语句特征抽取方法,并从实际应用数据中获取带标签的基数训练集。最后使用多集合的卷积神经网络进行监督学习训练,从而提高了对连接查询基数估计的准确度。其次,针对spark sql选择多表连接执行计划时间长且依赖于人工经验调节参数的问题,本文设计了基于强化学习的spark sql连接计划选择方法。该方法以连接树的形式重构了多表连接执行计划选择过程,并设计了spark sql连接底层实现方法的时间代价模型作为奖励,将其转换为马尔可夫决策过程。其中,使用上文设计的基数估计方法估算连接中间结果的基数,作为代价模型的主要输入。使用DQN算法训练强化学习模型得到指导连接计划选择的策略,能够自适应地选择合适的连接顺序和连接底层实现,有效减少了spark sql执行多表连接查询的时间。最后,基于上述两个理论成果,对spark开源计算系统进行二次开发,使用实际应用的数据集IMDB网络电影数据对基数估计的准确度和连接计划选择方法的性能进行测试,并与spark sql原生查询优化器进行对比。实验结果表明,本文设计的方法有效地提高了对连接查询基数估计的准确度,并且能够减少spark sql多表连接查询的执行时间,从而提高了spark sql连接查询的执行效率,验证了本文工作的有效性。

关键词： spark sql 连接查询优化机器学习深度学习强化学习

来源：评论

学校读者我要写书评

暂无评论

基于spark sql的定制化查询引擎

基于Spark SQL的定制化查询引擎

引用

作者：崔毅上海交通大学

学位级别：硕士

spark sql使得开发者和数据分析师可以在spark应用程序中便捷地直接使用sql语句在结构化或非结构化的数据集上查询数据。它给开发者和数据分析员提供了极大的便利去利用关系型数据模型的优点,并且spark内部的RDD数据模型也提升了在大规... 详细信息

spark sql使得开发者和数据分析师可以在spark应用程序中便捷地直接使用sql语句在结构化或非结构化的数据集上查询数据。它给开发者和数据分析员提供了极大的便利去利用关系型数据模型的优点,并且spark内部的RDD数据模型也提升了在大规模数据集上查询的性能。但是,spark sql不是面向长期“服务”的。其提供的DataSource数据源在每次扫描表的时候都会从底层的存储系统中加载数据。尽管用户可以通过cache命令显式地将待查询的数据缓存在内存中,但是这样缓存的粒度非常大,一次会将整张表在内存中缓存,而且一旦应用程序崩溃或者重启之后,内存中缓存的数据就会消失。尽管工业界出现了许多列式存储的文件格式来加速数据的查询,但是spark sql在较大规模数据集上查询的延时依旧不尽人意。对此,本文实现了一种spark sql之上的定制化查询引擎,它引入了一种新的数据文件格式以及索引结构来加速spark sql引擎的查询速度。它允许用户创建数据表的索引,从而来加速结构化数据的查询,满足了用户即席查询的需求。与此同时该定制化查询引擎还提供了更细粒度的缓存机制。可以将表数据或索引数据分块以更细的粒度缓存在内存中,从而更好地支持在内存中对―热点数据‖的缓存以及―冷数据‖的驱逐。此外,定制化的查询引擎提供了对Parquet格式的兼容,支持Parquet格式上的索引创建及查询。定制化的文件格式、索引结构以及细粒度的缓存机制使得spark sql更加地面向服务化,更好地满足即席查询的需求。经过一系列的性能评估及测试表明,与原生的spark sql相比,该定制化查询引擎的查询执行性能有较大的提升,定制化的服务及易用性对用户也更加友好。

关键词：大数据分布式系统数据库查询优化索引 spark sql

来源：评论

学校读者我要写书评

暂无评论

基于运行时统计数据采集的spark sql查询优化研究

基于运行时统计数据采集的Spark SQL查询优化研究

引用

作者：刘晨飞电子科技大学

学位级别：硕士

大数据时代,各行各业与互联网的紧密结合产生了海量的业务数据,通过分析这些业务数据可以为公司制定更好的运营策略,从而提升公司的盈利能力。Hadoop MapReduce系统的出现简化了对海量数据的分析,其被大量公司和机构广泛应用于业务数据... 详细信息

大数据时代,各行各业与互联网的紧密结合产生了海量的业务数据,通过分析这些业务数据可以为公司制定更好的运营策略,从而提升公司的盈利能力。Hadoop MapReduce系统的出现简化了对海量数据的分析,其被大量公司和机构广泛应用于业务数据分析工作。然而Hadoop MapReduce采用磁盘来存储计算的中间结果,因此计算效率较低,而spark分布式计算引擎采用内存来存储计算的中间结果,显著地提高了数据分析任务的执行速度。为了进一步简化数据分析工作,研究人员在Hadoop MapReduce系统上研发了Hive数据仓库;在spark之上构建了spark sql系统。相对于早期的工具使用代码描述计算任务,这些工具使用sql描述数据分析任务,使其可以根据查询优化理论进行优化,进一步提升了执行的效率。但是目前spark sql的查询优化功能仍然存在以下不足:1)需要操作者显式地通过统计信息收集命令收集统计信息,在缺乏统计信息时无优化,而使用者通常不了解查询优化理论,也不了解如何有效地收集统计信息。2)收集的统计信息不够准确,优化效果不佳。针对以上问题,本文提出了一个在运行时收集统计信息并对查询进行自适应优化的算法,实现了在不需要前置统计信息时对查询进行优化。其包含以下三个部分的内容:1)BFP(Bloom Filter Prune)Join算法,在连接操作执行之前使用布隆过滤器裁剪不满足连接条件的数据,并按照裁剪的方式不同分为单侧裁剪和双侧裁剪。2)采用AMS Sketch和布隆过滤器对连接的中间关系基数进行更加精确的估计。3)提出了一个基于图的连接计划生成算法,根据查询语句调度执行统计信息收集任务,接下来按照统计信息自适应地调整查询的执行计划。文章接下来对本文提出的运行时查询优化算法进行了测试,实验表明:在不考虑连接顺序的情况下,BFP算法通过对连接输入进行裁剪产生的优化效果最高达到了12%,在未成功裁剪数据的时候额外时间开销没有超过7%。连接计划生成算法在没有预先收集统计信息的情况下,在实验中所有的18次查询里,有14次都产生了最优的连接计划,优化效果最高达到了31%,统计信息采集的时间开销不超过执行时间的5%。

关键词：查询优化 spark sql 运行时布隆过滤器 Sketch

来源：评论

学校读者我要写书评

暂无评论

基于spark sql的海量数据实时分类查询算法的研究

引用

黄河科技学院学报 2021年第5期23卷 35-38页

作者：胡晶福建船政交通职业学院福建福州350007

spark是高速计算引擎,在计算能力上优于MapReduce。spark采用的是内存计算方式,而spark sql在基于Hive数仓数据的分布式计算上尤为广泛。重点研究spark sql在进行海量数据的分类查询时,对处理大数据计算的性能进行优化建议。大数据的分... 详细信息

spark是高速计算引擎,在计算能力上优于MapReduce。spark采用的是内存计算方式,而spark sql在基于Hive数仓数据的分布式计算上尤为广泛。重点研究spark sql在进行海量数据的分类查询时,对处理大数据计算的性能进行优化建议。大数据的分类、查询和大数据处理的两个重要方向,引入了改进的随机森林算法提高数据分类的准确性,优化遗传算法缩短了查询时间,在对海量大数据进行实时分类、查询的场景中具有指导意义。

关键词： spark sql 随机森林算法遗传算法

来源：评论

学校读者我要写书评

暂无评论

融合spark sql的系统误差性能评价技术指标研究

引用

电工技术 2022年第6期 29-32,63页

作者：朱国雄田彬陆会明华北电力大学控制与计算机工程学院北京102206 国能智深控制技术有限公司北京102211

提出了一种融合spark sql技术的系统误差性能评价方案,解决了在工业控制系统存在大量数据时往往需要对数据进行分析、处理的问题,通过对数据的统计分析得到当前控制系统的性能指标,由性能指标决定是否对控制过程方案做出相应调整,从而... 详细信息

提出了一种融合spark sql技术的系统误差性能评价方案,解决了在工业控制系统存在大量数据时往往需要对数据进行分析、处理的问题,通过对数据的统计分析得到当前控制系统的性能指标,由性能指标决定是否对控制过程方案做出相应调整,从而达到更好的控制效果。通过spark sql数据分析技术,使用Java语言和spark sql集成的API函数以及sql语句,结合误差积分性能指标的函数表达式进行算子程序开发。对确定性指标中时间平方误差积分ITSE进行了详细的开发论述,包括数据的读取、数据的处理及结果数据的获取,开发的ITSE算子能够对测量得到的工业控制系统数据进行分析处理,结合图像算子可以得到直观的系统性能指标变化趋势,以便运行人员了解控制系统性能,及时对系统控制方案做出调整。

关键词：数据分析 spark sql 大数据误差性能指标控制系统品质

来源：评论

学校读者我要写书评

暂无评论

基于spark sql结构化数据文件的推荐系统性能优化研究

引用

电脑与信息技术 2021年第5期29卷 61-63页

作者：胡晶福建船政交通职业学院福建福州350007

spark sql是spark技术的一个模块,在不使用Scala语言的前提下,可以对结构化数据进行处理和优化。本文重点研究spark sql的架构、DateFrame数据抽象、基于数据分类的改进交替最小二乘算法(ALS)等几个方面,研究在推荐系统中处理结构化数... 详细信息

spark sql是spark技术的一个模块,在不使用Scala语言的前提下,可以对结构化数据进行处理和优化。本文重点研究spark sql的架构、DateFrame数据抽象、基于数据分类的改进交替最小二乘算法(ALS)等几个方面,研究在推荐系统中处理结构化数据面临的性能优化问题研究。提出最小二乘算法对spark sql的Dateset进行优化,在操作Hive数据集和HBase分布式数据的过程中,整合二者的优点,改进了数据读写速度,优化了数据组织框架。在推荐系统进行结构化文件处理的问题上,具有一定的指导意义。

关键词： spark sql DateFrame数据抽象最小二乘算法

来源：评论

学校读者我要写书评

暂无评论

利用spark sql分析传统数据源的通用步骤

引用

电子制作 2020年第16期28卷 66-68页

作者：陆赟闫歌新疆农业职业技术学院新疆昌吉831100 新疆维吾尔自治区特种设备检验研究院新疆乌鲁木齐830000

在大数据时代,日益增长的行业数据给各个行业带来了全新挑战,传统的计算方式已经不能满足企业对数据统计分析的需要。如何从大规模的数据中提取出有价值的信息并通过分析计算生成有价值的统计报表,成为各个企业关心的问题。如今大数据... 详细信息

在大数据时代,日益增长的行业数据给各个行业带来了全新挑战,传统的计算方式已经不能满足企业对数据统计分析的需要。如何从大规模的数据中提取出有价值的信息并通过分析计算生成有价值的统计报表,成为各个企业关心的问题。如今大数据技术的发展给大规模数据的分析带来了希望。大数据分析技术spark sql可以按照通用的步骤对各种类型传统数据源进行快速地分析,为企业的决策者们提供可靠的统计分析报表。

关键词： spark sql 传统数据源大数据分析

来源：评论

学校读者我要写书评

暂无评论

基于spark sql技术的工业数据统计研究

引用

科学技术创新 2021年第6期 58-61页

作者：胡志宝陆会明华北电力大学控制与计算机工程学院北京102206

对于获得的大量工业数据,然后对数据进行统计分析可以知道生产过程的运行情况,从而决定是否需要对过程或者方案进行调整。本文使用sparksql并行计算框架,利用spark sql在Java中集成的API,结合Java编程语言,对得到的工业数据进行常规统计... 详细信息

对于获得的大量工业数据,然后对数据进行统计分析可以知道生产过程的运行情况,从而决定是否需要对过程或者方案进行调整。本文使用sparksql并行计算框架,利用spark sql在Java中集成的API,结合Java编程语言,对得到的工业数据进行常规统计,得到了数据的均值、均方差、最值等,对数据进行超限统计,得到过程量超过上限值的各个时间段的开始时间点和结束时间点及超限时间段的持续时长。

关键词： spark sql 数据处理工业数据

来源：评论

学校读者我要写书评

暂无评论

基于spark的sql连接优化研究与应用

基于Spark的SQL连接优化研究与应用

引用

作者：邵帅北京交通大学

学位级别：硕士

随着互联网的高速发展及IT技术的快速进步,各行各业的数据量都在高速增长,为了更好地分析和利用大数据,大数据平台应运而生。Hadoop平台能够完成一般的大数据分析和处理,但是随着信息量的爆发式增长及人们对实时性要求的提高,其性能已... 详细信息

随着互联网的高速发展及IT技术的快速进步,各行各业的数据量都在高速增长,为了更好地分析和利用大数据,大数据平台应运而生。Hadoop平台能够完成一般的大数据分析和处理,但是随着信息量的爆发式增长及人们对实时性要求的提高,其性能已经不足以应对大数据时代的需求。spark作为一种新型的分布式处理平台,正在逐步得到关注和应用。spark sql是spark中对结构化数据的处理模块,也是spark的核心部分,由于spark sql中的表连接操作spark Join性能较低而严重影响了 spark的整体性能。因此,论文对spark sql进行了连接优化方面的研究工作。首先,论文在吸取其他研究者的优秀策略以及spark自身提供的Broadcast Join、Hash Join基础上,针对spark的大表等值连接操作提出了一种基于Compressed Bloom Filter的spark Join优化方案CBF Join,该方案主要思想是预先过滤掉表中大部分不符合连接条件的记录,降低连接过程中的Shuffle数据量,从而提高大表等值连接的性能。其次,论文在分析第一种优化方法的局限性后,针对待连接数据表的数据量大小未知的场景,提出了一种基于Split Bloom Flter的spark Join优化方案SBF Join,该方案采用动态生成位数组的方法,弥补了 CBF Join的不足。再次,论文对数据倾斜导致spark Join性能下降的情况进行了研究,提出了数据倾斜场景下spark Join的优化方案Skew Join,该方案通过直方图来预先确定产生数据倾斜的连接属性,将其与普通连接属性分别处理,从而减少连接阶段耗时,提升大表间等值连接效率。最后,论文以四组实验来验证上述研究成果,通过Shuffle阶段的数据量以及运行时间的比较,验证了 spark分布式计算框架的性能要优于Hadoop分布式计算框架;本文提出的CBF Join方法在普通场景中的性能优于spark的Hash Join;SBF Join方法在待连接数据表数据量未知场景中的性能优于Hash Join;Skew Join方法在连接属性存在数据倾斜场景中的性能优于Hash Join和CBF Join。实验结果表明,论文提出的三种优化方案能够在各自的应用环境提高spark sql大表等值连接操作的效率。

关键词： spark sql Compressed Bloom Filter Split Bloom Filter 直方图

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：