检索结果-内蒙古大学图书馆

计算机工程 2021年第3期47卷 62-70页

作者：蔡瑞初林峰极郝志峰王立温雯广东工业大学计算机学院广州510006 佛山科学技术学院数学与大数据学院广东佛山528000 依图网络科技有限公司新加坡研发部新加坡018960

移动社交网络等基于定位服务应用的快速发展导致时空数据流规模呈爆炸式增长,要求底层数据存储系统支持高吞吐量轨迹数据的插入以及空间和时间约束下的低延迟查询,而现有HBase等数据存储方案因索引更新开销过高无法满足该需求。针对时... 详细信息

移动社交网络等基于定位服务应用的快速发展导致时空数据流规模呈爆炸式增长,要求底层数据存储系统支持高吞吐量轨迹数据的插入以及空间和时间约束下的低延迟查询,而现有HBase等数据存储方案因索引更新开销过高无法满足该需求。针对时空数据流的应用特性,提出一种数据流内存索引及存储方法。根据键值和时间范围对历史与增量数据元组进行物理分区,将其以模板B+树的形式写入内存并构建索引以增强快速写入和查询能力,同时对数据进行压缩存储提升索引效率。在此基础上,采用多级索引根据数据分区将复杂查询分解为可独立处理的子查询。实验结果表明,与传统HBase、WaterWheel等方法相比,该方法在不同数据插入和查询条件下的数据存储性能与查询效率更优。

关键词：轨迹流数据数据分区存储多级索引 Bloom过滤器

来源：评论

学校读者我要写书评

暂无评论

轨迹流数据清洗及附加语义信息的方法研究

引用

福建质量管理 2019年第16期 289,287页

作者：姜雅雯云南财经大学云南昆明 650000

流数据应用领域非常广泛,其分析结果也十分重要.然而,流数据在获取和保存的过程当中可能会出现质量问题,因此,在对流数据进行数据挖掘前,需要对它进行数据清洗,传统的方法在清洗流数据的问题上或多或少存在着这样那样的问题,因此,本文... 详细信息

流数据应用领域非常广泛,其分析结果也十分重要.然而,流数据在获取和保存的过程当中可能会出现质量问题,因此,在对流数据进行数据挖掘前,需要对它进行数据清洗,传统的方法在清洗流数据的问题上或多或少存在着这样那样的问题,因此,本文就适用于流数据的清洗方法进行了研究.

关键词：流数据数据清洗语义语义信息轨迹流数据

来源：评论

学校读者我要写书评

暂无评论

基于浮动车数据的快速交通拥堵监控

引用

计算机研究与发展 2014年第1期51卷 189-198页

作者：吴佩莉刘奎恩郝身刚张全新谭毓安北京理工大学计算机学院北京100081 北京市海量语言信息处理与云计算应用工程技术研究中心北京100081 中国科学院软件研究所北京100190 南阳师范学院计算机与信息技术学院河南南阳473061

浮动车技术是近年来智能交通系统中所采用的、获取道路交通信息的先进技术手段之一,可作为大规模实时交通监控的数据源.由于浮动车数据规模庞大,从大量移动对象中有效处理流数据是其中一大难点.采用相似轨迹聚类的思想,结合与拥堵特征... 详细信息

浮动车技术是近年来智能交通系统中所采用的、获取道路交通信息的先进技术手段之一,可作为大规模实时交通监控的数据源.由于浮动车数据规模庞大,从大量移动对象中有效处理流数据是其中一大难点.采用相似轨迹聚类的思想,结合与拥堵特征相关的交通参数,提出了拥堵同伴发现算法.该算法能从浮动车轨迹流数据中筛选出可能发生拥堵的浮动车数据,从而对拥堵区域变化趋势进行概化预测,由预测结果决定负载处理方式.此外,设计基于预测的多优先级调度算法用以实现整个监控流程.提出的方法可有效降低处理浮动车数据的代价,实现快速交通拥堵监控.通过在城市路网中大规模出租车轨迹数据上的实测,验证了这种算法的有效性和优势.

关键词：浮动车数据交通拥堵拥堵同伴发现降载轨迹流数据

来源：评论

学校读者我要写书评

暂无评论

面向位置数据查询的隐私保护方法研究

面向位置数据查询的隐私保护方法研究

引用

作者：周文翔华中科技大学

学位级别：硕士

大数据时代的到来和互联网的蓬勃发展催生了大量的移动对象轨迹数据,基于这些轨迹数据的研究及应用在城市规划、用户行为分析、频繁模式挖掘等方面发挥着重要的作用,并对人们的生产及生活方式产生了极大的影响。然而,轨迹数据蕴含了移... 详细信息

大数据时代的到来和互联网的蓬勃发展催生了大量的移动对象轨迹数据,基于这些轨迹数据的研究及应用在城市规划、用户行为分析、频繁模式挖掘等方面发挥着重要的作用,并对人们的生产及生活方式产生了极大的影响。然而,轨迹数据蕴含了移动用户在时空维度上的丰富信息,直接发布个人轨迹数据及位置统计信息会泄露用户的隐私信息。现有的轨迹发布算法主要依托于批处理平台,而很少关注流场景下的实时隐私保护处理。轨迹流数据的高速、海量及不确定性等自身特性得在轨迹数据流上做到实时隐私保护处理显得尤为困难。而且,在当前的基于位置数据的统计直方图发布中,很少提供实时的隐私保护支持。针对以上问题及挑战,面向位置数据的隐私保护发布框架研究了基于轨迹数据流的实时查询及隐私保护发布,其包含两个并行执行的模块,分别为流式轨迹数据发布(Trajectory Streaming Publish,简称TSP)和访客计数发布(Visitor Count Release,简称VCR)。TSP是一种基于 !- 隐私模型发布流式轨迹数据的新颖模块,根据用户的个人轨迹查询请求实时反馈经隐私保护处理后的合成轨迹段,并保证满足不同查询者的个性化隐私偏好。具体而言,TSP对预查询轨迹按时间窗口进行分段及隐私预算分配,在进行元组数据的采样和泛化处理操作后返回新的合成轨迹,此外,VCR模块可以对基于位置数据分布的统计直方图进行周期性发布,其包括两种区域访客计数直方图 ! 和 ! 的发布算法,以及一种支持自适应分组的直方图 " 发布算法,以便更好地对位置统计信息进行发布。实验结果表明,在流式轨迹隐私保护发布过程中,较低的隐私预算会对输出结果添加较多的噪声,将使得原始轨迹与合成轨迹之间的偏差增大。而且,路网面积较大的数据集适合搭配较大的时间窗口长度 ,而对于路网面积较小,且轨迹距离及耗时都较短的数据集,较小的值是更佳的选择。此外,与传统的轨迹发布算法 - 相比,TSP模块在隐私保护及数据可用性方面都实现了更好的发布效果。与区域访客计数直方图发布算法 ! 相比,提出的基于自适应分组的直方图发布算法 " 在相同级别的隐私保护下取得了更好的区域访客计数准确性效果。最后,当选择合适的参数配置时,提出的框架及算法在有效地保证隐私性的同时实现较高的数据可用性。

关键词：轨迹流数据隐私保护层次网格直方图发布差分隐私

来源：评论

学校读者我要写书评

暂无评论

面向轨迹的弹性计算方法研究

面向轨迹的弹性计算方法研究

引用

作者：潘志诚苏州大学

学位级别：硕士

现阶段，14天行程轨迹的查验己成常态化疫情防控的常用手段，基于轨迹大数据的实时处理有效作用于疫情防控中的时空伴随者监测、疑似病例的密切接触者排查等场景。同时，随着智慧城市建设进入新阶段，轨迹大数据计算与城市治理融合的模... 详细信息

现阶段，14天行程轨迹的查验己成常态化疫情防控的常用手段，基于轨迹大数据的实时处理有效作用于疫情防控中的时空伴随者监测、疑似病例的密切接触者排查等场景。同时，随着智慧城市建设进入新阶段，轨迹大数据计算与城市治理融合的模式及形态正在发生重大变化，表现在离线场景的轨迹分析己不能满足现状。日新月异的应用要求充分挖掘轨迹大数据的“新鲜”价值，亟需突破大规模轨迹数据的实时管理与精准查询手段，这对提升城市治理能力和数智化水平具有重大意义。　　轨迹流具有实时、动态和时空偏斜等特性，所以固化资源分配、空间划分等传统分布式计算手段无法实现高吞吐、低延时的轨迹流计算。现有研究表明，在实时处理轨迹流数据的任务场景中，负载均衡、集群水平伸缩等弹性问题是症结所在。出于秉要执本的目的，本文深入研究面向轨迹流的弹性计算问题，提出:　　(1)基于随机分发的轨迹流弹性计算方法:随机分发不会感知轨迹流的时空特征，因而具有天然的抗倾斜特性。本方法通过矩阵模型生成的随机分发方案将任务负载均衡分布于作业节点间，实现动态、精确和高效的轨迹流连接操作。　　(2)基于哈希分发的轨迹流弹性计算方法:哈希分发充分感知轨迹流的时空特征，因而能够挖掘轨迹流的分布特性。本方法融合六边形网格布局编址和学习型索引的时间、空间复杂度优势，有效作用于低开销、低时延的轨迹流范围查询。　　(3)基于动态索引的轨迹流弹性计算方法:索引是离线大数据处理的关键技术，却因更新频繁等问题难以应用于实时场景。本方法旨在改造传统索引结构，用以兼容流式计算模式，从而赋能稳定、高性能的持续Top-k轨迹相似度查询。　　综上所述，本文围绕面向轨迹流的弹性计算和查询处理进行了相关研究工作。以研究实时轨迹流处理系统中负载均衡及资源自适机制的融合方法为目标，探索支持轨迹流完整生命周期数据管理的理论与方法并构建原型系统。

关键词：轨迹流数据分布式流处理弹性计算随机分发哈希分发动态索引

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：