随着遥感卫星技术的不断发展,一方面造成了遥感卫星传感器、遥感数据类型的不断增加,另一方面也导致了遥感数据体量的急剧增长,这给遥感数据的管理、存储与组织带来了巨大的挑战,与此同时,由于遥感数据本身所具有的时空等多维度特征,越来越多的遥感应用开始关注于利用遥感数据集的时间等维度进行分析与处理,而在现有的多卫星数据中心云计算环境下,数据的获取、分享与时序数据组织分析效率低下。因此如何进行云计算环境下的多源遥感大数据管理,从而为用户提供对于时空数据集的高效的按需获取、数据共享、时序数据组织等服务,是当前遥感数据管理领域亟需解决的重要问题。针对以上问题,本文依托于“863项目—星机地综合定量遥感系统与应用示范(二期)”项目,利用云计算的海量数据存储、虚拟化、弹性扩展、按需服务等优点,针对多源异构大数据的数据量大、数据组织困难、数据服务低效等特点,重点研究了云计算环境下针对遥感数据分析应用用户的多源遥感数据的存储、组织、数据按需订阅、数据共享等服务的具体实现以及在此基础上的数据立方体分析环境的构建。主要包括以下几点:(1)对于来自不同数据源的异构遥感数据,通过引入地理信息元数据标准建立元数据映射模板,实现多源遥感数据的统一格式转换,并在此基础上实现对于遥感数据的统一检索。另外按照归档数据以及计算分析数据的不同特点,为遥感影像数据的存储采取不同的组织方式。(2)针对遥感数据的按需获取与数据共享服务,本文在OpenStack-Swift对象存储的基础上,首先提出了基于对象文件的虚拟目录设计方案,为用户提供了类似于文件系统的可以进行层级目录管理的云空间,然后提出了虚拟映射与虚拟视图的概念,通过共享数据存储与虚拟视图组织来为用户提供高效的时空数据订阅与数据共享服务。(3)针对多维遥感数据的数据处理与分析,本文结合Open Data Cube数据立方体技术,利用云存储中的组织好的Landsat、Modis、GF等时空数据集,为用户提供了基于内存的多维数据模型构建与时序数据分析环境,并通过NDVI以及水体检测算法为例进行了验证。通过开展以上研究,本文实现了对于异构多源遥感数据的统一管理,并在此基础上,为遥感云平台中的数据分析用户提供了云空间数据组织、时空数据订阅、数据共享等服务,并通过数据立方体为用户构建了时序数据的分析环境,为用户针对多源异构数据的统一检索、组织、订阅共享以及分析处理提供了系统而完整的解决方案。本文的创新点在于通过参考元数据相关标准构建了统一元数据模型从而实现了对于多源异构遥感数据组织及数据检索服务。通过对于云存储以及虚拟映射组织的研究,实现了面向多用户的时空数据集订阅及共享服务,有效避免了数据共享时候的数据传输与重复组织,保证用户能够高效而便捷的获取到所需的数据。
暂无评论