叠置分析是地理信息系统(Geographic Information System,GIS)中最重要的空间分析操作之一。随着空间数据大数据时代的到来,海量空间数据之间的叠置分析过程往往非常耗时,而现在GIS用户对于空间分析快速响应的需求决定了叠置分析需要实...
详细信息
叠置分析是地理信息系统(Geographic Information System,GIS)中最重要的空间分析操作之一。随着空间数据大数据时代的到来,海量空间数据之间的叠置分析过程往往非常耗时,而现在GIS用户对于空间分析快速响应的需求决定了叠置分析需要实现并行化来提高效率。现有的叠置分析并行算法大多基于高性能多核计算机或者基于共享内存的分布式并行计算环境。尽管基于这些并行方式的研究在一定程度上提升了叠置分析的性能,但是仍存在性能横向扩展困难,容错性差以及运用复杂度大等缺陷。随着分布式计算机技术的发展,MapReduce并行计算模型在分布式并行计算方面,体现出其巨大的优势,目前已经广泛运用在互联网领域。本文针对简单要素模型的叠置分析需要实现并行化的问题,将MapReduce并行计算框架引入地学的空间分析领域,提出基于MapReduce的叠置分析并行计算框架与方法。实验结果表明:该方法能够提升叠置分析的效率。本文主要的研究内容及结论包括:(1)通过解析简单要素模型、叠置分析和MapReduce并行计算框架的特点,对传统叠置分析算法的流程进行过滤和精炼两个阶段的解耦与对应的并行化分析,提出基于数据并行的思想,建立基于MapReduce的简单要素模型叠加分析并行化计算框架。该框架在MapReduce与空间分析算法的结合中具有通用性。(2)以数据分割作为计算并行的基础顾及简单要素模型的空间邻近性、静态负载均衡的规则基础,研究基于Hilbert填充曲线的数据划分方法;在此基础上,结合数据分片中非均衡网格索引构建的机理,顾及最小时间消耗原则,研究基于MapReduce数据划分及非均衡网格索引的并行化方法,并通过实验验证了该并行化算法能够提升索引构建的效率。(3)在数据划分与空间索引构建的基础上,结合叠置分析中过滤、精炼的算法流程,研究基于MapReduce的叠置分析并行化算法,并通过实验验证了该算法能大幅提高叠置分析的效率。
暂无评论