检索结果-内蒙古大学图书馆

作者：文菁华中科技大学

学位级别：硕士

近年来随着互联网大数据的发展、移动终端的普及以及LBS平台丰富的服务已经形成了海量级的轨迹数据。轨迹数据包含了移动对象各个采样点的空间位置等信息,蕴含丰富的知识。时空轨迹数据的挖掘,不仅能够应用于交通流量预测、城市规划、... 详细信息

近年来随着互联网大数据的发展、移动终端的普及以及LBS平台丰富的服务已经形成了海量级的轨迹数据。轨迹数据包含了移动对象各个采样点的空间位置等信息,蕴含丰富的知识。时空轨迹数据的挖掘,不仅能够应用于交通流量预测、城市规划、出租车服务以及路径推荐等宏观领域,还可以反映移动对象自身的出行特征和生活规律等隐私信息。然而原始采样的时空轨迹数据量庞大、种类繁多、异频采样、时空点序列存储等特点,使得轨迹数据无法被直接用来挖掘和分析,行业研究员对轨迹数据进行挖掘前往往需要一系列处理将其转换为能够被使用的数据,包含轨迹数预处理、轨迹的索引与检索、轨迹数据压缩等。本文针对多源异质的轨迹数据进行了轨迹数据的管理和KNN查询。本文首先针对多源异质的轨迹特性提出了基于轨迹段的轨迹数据模型,该模型将轨迹由原始的采样点模型转换为便于理解和组织的轨迹段的形式。接下来本论文提出了一种面向轨迹段的快速KNN查询方法,并对比了几种算法的检索效果和运行效率。实验结果表明本文提出的面向轨迹段的KNN算法更适用于多尺度的异质轨迹数据计算,并且通过对异质轨迹数据的压缩极大的提升了轨迹KNN运行的效率。本文的创新点主要有:(1)提出了基于轨迹段的轨迹数据模型来对轨迹进行组织和管理,将有效提升轨迹挖掘和分析的效率。通过将轨迹分为移动对象、点对象和轨迹对象分别管理,使得轨迹段的数据模型能够适用于多尺度的异质轨迹数据。(2)提出了基于轨迹段的快速有序KNN查询算法。首先通过对轨迹段进行距离时间比的压缩,能够极大程度的降低轨迹计算的复杂度。其次将投影距离应用于点到轨迹的度量,提升了多尺度轨迹的KNN查询结果。

关键词：多尺度异质轨迹轨迹数据管理轨迹KNN查询

来源：评论

学校读者我要写书评

暂无评论

大规模轨迹数据的分布式管理与分析

大规模轨迹数据的分布式管理与分析

引用

作者：李瑞远西安电子科技大学

学位级别：博士

随着互联网技术的普及和定位技术的不断发展,越来越多的轨迹数据在连续不断地产生。这些轨迹数据蕴含着丰富的信息,能够用于许多城市应用,例如:违章停车检测、车流分析预测、空气质量分析以及可达区域分析等。为充分利用这些轨迹数据,... 详细信息

随着互联网技术的普及和定位技术的不断发展,越来越多的轨迹数据在连续不断地产生。这些轨迹数据蕴含着丰富的信息,能够用于许多城市应用,例如:违章停车检测、车流分析预测、空气质量分析以及可达区域分析等。为充分利用这些轨迹数据,我们首先需要对这些轨迹数据进行有效的管理。然而,由于轨迹数据量通常非常大、更新频率很高、内在结构复杂、查询模式独特,要高效管理轨迹数据非常困难。传统的关系型数据库,例如My SQL Spatial、Post GIS、Oracle Spatial等,为支持时空数据(包括轨迹数据)的管理做了一些优化,然而它们通常会面临着扩展性不足的问题,即当轨迹数据量大于1T时,系统通常难以应对。一些分布式大数据系统例如Spark、Hadoop、HBase等能够存储和处理超大规模的数据,然而这些系统没有内建的时空索引,因此无法高效地支持时空轨迹的查询和分析。一些研究工作基于分布式大数据组件构建了轨迹数据管理系统,但是大部分的这些系统只提供非常有限的轨迹分析函数,无法满足复杂的上层应用;此外,对于轨迹存储它们没有专门做一些优化,因此可能存在效率问题;更进一步,这些系统使用门槛较高,业务开发人员通常需要查阅很多用户手册,编写大量代码。为便捷、高效地管理海量轨迹数据,构建海量轨迹数据与上层应用的桥梁,本文基于开源的时空索引组件Geo Mesa,构建了一个完备的基于NoSQL的分布式轨迹数据管理和分析系统,称为Traj Mesa。Traj Mesa具有扩展性好、效率高、支持多种轨迹查询、允许轨迹更新、使用便捷等特点。主要研究内容和创新点总结如下:(1)设计并实现了多种分布式轨迹预处理操作,包括轨迹噪声过滤、轨迹驻留点检测、轨迹分段、轨迹地图匹配。这些预处理操作不仅在很多应用场景都非常重要,而且对本文后续的轨迹存储索引的设计也很必要。通过分布式的实现,Traj Mesa能够更快地实现更大规模的轨迹预处理操作。(2)设计了一种新的基于NoSQL的轨迹底层存储机制。传统的方法将每个GPS点存储为一条记录,难以对轨迹数据进行压缩,也无法表示整条轨迹的信息,导致无法高效支持许多轨迹查询。本文将一条轨迹的所有GPS点存储在一起,更加有利于轨迹压缩,减少磁盘空间占用的同时,加快查询存储效率。将轨迹的所有GPS点存储在一起,每条记录就包含了轨迹的所有信息,更加方便多种轨迹查询。实验表明,新的存储方式相对于传统的存储方式,存储空间大小减少了80%,索引时间减少了88%,查询效率提高了1?2个数量级。(3)为支持不同的轨迹查询,设计了多种查询优化算法。针对NoSQL不适合存储时间段的问题,设计了一种新的时间段索引方法XZT,可以在毫秒级别支持上TB数据量级的ID时间范围查询。针对轨迹MBR无法精确表示轨迹位置,以及现有XZ2索引不精确的问题,提出了一种轨迹签名方法和XZ2+索引,让轨迹空间范围查询性能提高4%?20%左右。针对相似轨迹查询,提出了MBR剪枝、起止点下界剪枝、签名下界剪枝策略,在本文的实验环境中,Traj Mesa相似轨迹查询比Dita轨迹管理系统快2?3个数量级。针对k邻近查询,提出了区域剪枝、MBR下界剪枝、签名下界剪枝策略,在本文的实验中,Traj Mesa相较于Dita和DFT方法在小数据量情况下,k邻近查询效率提高了50%,在大数据量的情况下,k邻近查询效率提高了1?2个数量级。此外,Traj Mesa比Dita和DFT的扩展性更强,能够轻松处理大规模(大于1T)的轨迹数据,而Dita和DFT在本文的环境中,当数据量大于70GB时,抛出内存异常错误。提出了一种基于后缀树索引的路径时间范围查询方案,相较于倒排索引方法,本文提出的方法树高度为3时有近30%的效率提升。(4)设计并实现了一套完整的轨迹SQL引擎。为了让Traj Mesa更好地支持上层应用,提高系统的易用性,Traj Mesa定义了多种SQL语句类型,对于每种类型,实现了解析器、优化器和执行器。在Traj Mesa中,所有的功能都可以通过一句简单的SQL语句实现,这减少了Traj Mesa的使用门槛。正因为Traj Mesa的高效性、可扩展性和易用性,许多基于Traj Mesa的应用均已在实际生产环境中部署。(5)实现了一个基于Traj Mesa的轨迹分析应用案例。该案例首次使用轨迹拼接技术找到城市中任何一个地点一段时间内能够到达的区域。通过良好的索引设计,能够在毫秒级别快速响应可达区域范围查询请求。相较于静态路网扩张的方法,本文提出的方法能够实时捕捉当前的交通状况信息。相较于车速评估算法,本文提出的方法覆盖度更高。

关键词：轨迹数据管理轨迹数据挖掘分布式计算时空大数据城市计算

来源：评论

学校读者我要写书评

暂无评论

轨迹大数据:数据、应用与技术现状

引用

通信学报 2015年第12期36卷 97-105页

作者：许佳捷郑凯池明旻朱扬勇禹晓辉周晓方苏州大学计算机科学与技术学院江苏苏州215006 江苏省软件新技术与产业化协同创新中心江苏南京211102 复旦大学计算机科学技术学院上海市数据科学重点实验室上海201203 山东大学计算机科学与技术学院山东济南250101

移动互联技术的飞速发展催生了大量的移动对象轨迹数据。这些数据刻画了个体和群体的时空动态性,蕴含着人类、车辆、动物的行为信息,对交通导航、城市规划、车辆监控等应用具有重要的价值。为了实现有效的轨迹数据价值提取,近年来学术... 详细信息

移动互联技术的飞速发展催生了大量的移动对象轨迹数据。这些数据刻画了个体和群体的时空动态性,蕴含着人类、车辆、动物的行为信息,对交通导航、城市规划、车辆监控等应用具有重要的价值。为了实现有效的轨迹数据价值提取,近年来学术界和工业界针对轨迹管理问题开展了大量研究工作,包括轨迹数据预处理,以解决数据冗余高、精度差、不一致等问题;轨迹数据库技术,以支持有效的数据组织和高效的查询处理;轨迹数据仓库,支持大规模轨迹的统计、理解和分析;最后是知识提取,从数据中挖掘有价值的模式与规律。因此,综述轨迹大数据分析,从企业数据、企业应用、前沿技术这3个角度揭示该领域的现状。

关键词：时空数据库轨迹数据管理数据索引查询优化

来源：评论

学校读者我要写书评

暂无评论

非关系型数据库中轨迹大数据时空索引研究及应用

非关系型数据库中轨迹大数据时空索引研究及应用

引用

作者：武英豪聊城大学

学位级别：硕士

现今社会,随着无线传感技术、GPS技术、互联网技术、云计算技术的迅速发展,位置数据的获取越来越容易,基于位置的服务(LBS)蓬勃发展,移动轨迹数据大量获取并日渐积累。轨迹数据携带大量的隐含信息,且具有海量高动态的特性。高效管理和... 详细信息

现今社会,随着无线传感技术、GPS技术、互联网技术、云计算技术的迅速发展,位置数据的获取越来越容易,基于位置的服务(LBS)蓬勃发展,移动轨迹数据大量获取并日渐积累。轨迹数据携带大量的隐含信息,且具有海量高动态的特性。高效管理和索引轨迹数据对挖掘海量轨迹的潜在价值、服务交通和出行等具有重要的意义。本文从实际应用场景出发,从数据库选择、索引策略选择、存储结构及索引算法设计等几个方面对轨迹大数据的时空索引进行了探索。针对现有主流的非关系型数据库的特征和适用性,本文选择了横向扩展性良好、具有最快写操作性能的Cassandra数据库作为轨迹大数据存储的数据库。针对Cassandra数据库读性能的瓶颈设计时空索引。采用时间划分的策略将时间和空间放在同等地位基于Cassandra构建复合时空索引。空间索引采用四叉树和希尔伯特(Hilbert)曲线,时间索引采用等间隔划分。轨迹数据具有高动态性,索引更新代价较大,本文选择固定级别的S2索引编码为实时轨迹构建空间索引。对于固定级别的空间划分,不同精度的查询场景响应效率不同。为实现常见应用场景的迅速响应,本文提出了空间级别和时间间隔划分策略,在最大化利用服务器和数据库存储资源的前提下实现轨迹数据写入和查询的快速响应。同时,提出了新的查询区域构建算法,解决了由于投影不一致导致的漏查现象。论文采用北京市10000辆出租车约1500万轨迹数据进行了实验,测试了时空范围范围查询、邻近查询、并发访问的响应效率。实验表明本文方法能够实现海量轨迹数据的高效存储和查询。在上述研究的基础上,设计实现了一个大数据管理平台的轨迹数据管理功能,提出了一种基于时空索引划分的复杂路线通行时间估计算法,实现了本文轨迹大数据时空索引策略的实际工程应用。

关键词：轨迹数据管理时空索引四叉树 Hilbert Cassandra

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：