检索结果-内蒙古大学图书馆

作者：石鑫重庆邮电大学

学位级别：硕士

数据库技术的发展水平决定着国家信息化程度的高低。随着生活社会化和网络化的不断深入，信息容量的爆炸式增长对数据库技术的发展提出了更高的要求。伴随在网络监控系统、金融分析系统、交通流量预测、Web应用等众多领域中广泛出现的... 详细信息

数据库技术的发展水平决定着国家信息化程度的高低。随着生活社会化和网络化的不断深入，信息容量的爆炸式增长对数据库技术的发展提出了更高的要求。伴随在网络监控系统、金融分析系统、交通流量预测、Web应用等众多领域中广泛出现的被称之为流数据(Streaming Data)的新型数据模型使传统数据库技术面临着严峻的挑战。\n 流数据管理系统的出现弥补了传统数据库在处理动态数据上的不足，有效地解决了由潜在无限、高速动态、频繁变化等数据特点决定的，并与传统数据模型不同的数据处理方式。流数据管理系统着眼于当前流入内存的实时数据，然而，几乎30％-40％的应用涉及历史流数据，因此，若不对流出系统的历史数据有效地进行保存，那么有关趋势预测、数据分析等方面的应用将很难得到满足。\n 本文在分析了流数据管理系统和关系数据库系统优缺点的基础上，提出了基于流数据引擎和关系数据库联合系统的存储体系结构，并从以下三个方面进行了详细研究：\n 第一，针对流数据管理系统和关系数据库在处理数据方式上的不同，通过采用等距无偏采样和批处理方式实现系统的联合，并有效地降低数据库空间的存储压力；\n 第二，依据用户或应用程序对数据的关注程度，利用在内存中建立基于历史数据的缓存方法来平衡实时数据和历史数据在访问速度上的较大差异，并提出基于数据访问频率的置换算法来保证缓存的性能；\n 第三，随着时间的不断推移，采用基于时间粒度的二次存储方法进一步提高外存关系数据库的存储能力。\n 最后，较为详细的仿真实验和结果分析证明了本文所提出的方法在实时流数据模型存储效率方面的正确性和有效性。

关键词：实时流数据管理系统关系数据库存储体系

来源：评论

学校读者我要写书评

暂无评论

命名数据网络实时流数据分发机制研究

命名数据网络实时流数据分发机制研究

引用

作者：范闯闯吉林大学

学位级别：硕士

随着大量面向内容应用的出现及发展,互联网功能主要是实现大规模、高效的数据分发,但现有互联网端到端的通信模式限制了网络分发数据的效率。因此,未来网络研究领域的一些研究者提出了一种全新的、革命性的信息中心网络架构,其中代表性... 详细信息

随着大量面向内容应用的出现及发展,互联网功能主要是实现大规模、高效的数据分发,但现有互联网端到端的通信模式限制了网络分发数据的效率。因此,未来网络研究领域的一些研究者提出了一种全新的、革命性的信息中心网络架构,其中代表性的研究是命名数据网络(NDN,Named Data Networking)。NDN采用接收端(请求方)驱动的端到网络的通信模式实现基于Pull的包粒度数据分发。对于实时视频、网络直播等发送方驱动的实时流数据分发应用,这种数据获取方式要求用户必须持续发送兴趣包才能连续获得数据,同时用户必须提前发送兴趣包以保证数据分发实时性。但是,随着数据源数据包产生速率增大,这种数据获取方式导致用户端操作越来越复杂、难以控制,并给网络路由节点带来巨大的操作开销和资源浪费。针对上述问题,本文引入Push思想,提出了基于订阅的实时流数据分发机制。在该机制中,用户通过发送简单的订阅信息在用户与数据源之间建立稳定的数据分发链路,数据源可以沿该链路直接向用户推送数据。为保证丢包处理过程的有效性,本文给路由节点引入丢包检测功能实现对丢失数据包的预存取操作以提高丢包处理速度。同时,从缓存放置角度出发,提出基于订阅接口数目的缓存放置策略实现缓存冗余度与丢包处理时延的均衡。仿真结果表明,基于订阅的实时流数据分发机制能够简化用户操作,并降低用户丢包处理时延。另一方面,本文在基于订阅的实时流数据分发机制基础上引入内容分层的思想,进一步提出了基于分层订阅的实时流数据分发机制。在该机制中,用户通过对每层数据单独发送订阅信息在用户与数据源之间建立多条稳定的数据分发链路,数据源能够实现多个层次上的数据并发推送。仿真结果表明,在多径条件下,基于分层订阅的实时流数据分发机制能够利用NDN架构多径转发特性最大化用户吞吐量并降低网络数据丢包率。

关键词：命名数据网络实时流数据订阅预存取分层订阅

来源：评论

学校读者我要写书评

暂无评论

基于SoPC的实时流数据存储与传输软件技术研究

基于SoPC的实时流数据存储与传输软件技术研究

引用

作者：李浩琪浙江大学

学位级别：硕士

随着信息技术的飞速发展,嵌入式系统中数据量不断增长,而数据是信息时代的重要资源,如何快速存储并传输流数据是嵌入式系统中亟待解决的问题。由于存在多级内存拷贝且嵌入式处理器性能有限,传统存储模式无法满足存储数据速率不断提升带... 详细信息

随着信息技术的飞速发展,嵌入式系统中数据量不断增长,而数据是信息时代的重要资源,如何快速存储并传输流数据是嵌入式系统中亟待解决的问题。由于存在多级内存拷贝且嵌入式处理器性能有限,传统存储模式无法满足存储数据速率不断提升带来的更高存储要求。针对该问题,本文基于ARM+FPGA异构嵌入式平台,提出一种“一级地址映射+两级地址替换”优化方式,实现基于标准文件系统管理的端到端实时流数据存储功能。实时流数据通过FPGA直接存储到SSD(Solid State Disk:固态硬盘),期间不再需要ARM进行多级内存拷贝,大幅减少处理器资源占用,以此提高存储效率。同时为避免SSD存储速率波动导致实时流数据丢数,本文在FPGA侧开辟DDR(Double Data Rate:双倍速率同步动态随机存储器)作为流数据缓存区,并由ARM进行管理。针对嵌入式系统实时流数据传输应用,本文借鉴NVMe(Non-Volatile Memory Express:非易失性内存主机控制器接口规范)协议交互思想,提出一种资源池缓存区管理方式,实现高性能软硬件数据交互功能,提升嵌入式系统实时流数据传输能力。此外,本文基于C/S(Client/Server:客户端/服务端)网络模型,开发可视化应用程序,实现对嵌入式系统的远端管理以及实时流数据网络传输功能。最后,本文搭建实验平台对上述技术方法进行验证。经测试,在Ext4(Fourth extended filesystem:第四代扩展文件系统)标准文件系统管理下,端到端存储优化方案文件写速率为2.6GB/s(CPU占用率49%),读速率为2.4GB/s(CPU占用率67%)。相较于传统存储方案写速率为521MB/s(CPU占用率98%),读速率为689MB/s(CPU占用率99%),本文端到端存储优化方案可有效提高文件读写性能,同时减少资源开销。针对实时流数据传输过程,本文软硬件实时流数据传输速率在数据包尺寸为128k B时的不丢包速率可达1740MB/s,远端数据传输速率在千兆以太网络下达到113MB/s。

关键词：嵌入式存储系统实时流数据文件系统数据传输

来源：评论

学校读者我要写书评

暂无评论

基于实时流数据的无线性能预警体系研究

引用

通信与信息技术 2023年第S1期 82-85页

作者：李志恒杨兵苏凌中国移动通信集团四川有限公司四川成都610041

随着无线网络技术的迅速发展和普及,确保无线网络性能的稳定和可靠性变得至关重要。提出一种基于实时流数据的无线性能预警体系,旨在实时预测无线网络的性能问题并给出相关处理建议,以支持网络运维人员及时采取相应措施。文中首先介绍... 详细信息

随着无线网络技术的迅速发展和普及,确保无线网络性能的稳定和可靠性变得至关重要。提出一种基于实时流数据的无线性能预警体系,旨在实时预测无线网络的性能问题并给出相关处理建议,以支持网络运维人员及时采取相应措施。文中首先介绍相关背景和研究意义,然后详细阐述该预警体系的架构和工作原理,最后讨论实验结果和性能评估。实验结果表明,该预警体系能够准确、及时地发现和预警无线网络性能问题,为网络运维管理提供了有力支持。

关键词：无线网络性能预警实时流数据预测算法

来源：评论

学校读者我要写书评

暂无评论

基于大数据的实时流数据处理与分析策略研究

基于大数据的实时流数据处理与分析策略研究

引用

第二十三届中国科学家论坛

作者：陈娟上海财融聚信息科技有限公司

随着信息技术的飞速发展,大数据已经成为现代社会的核心资源。实时流数据作为大数据的重要组成部分,具有数据量大、处理速度快、价值密度低等特点。本研究旨在探讨基于大数据的实时流数据处理与分析策略,以提高数据处理效率,挖掘数据价... 详细信息

随着信息技术的飞速发展,大数据已经成为现代社会的核心资源。实时流数据作为大数据的重要组成部分,具有数据量大、处理速度快、价值密度低等特点。本研究旨在探讨基于大数据的实时流数据处理与分析策略,以提高数据处理效率,挖掘数据价值,为相关领域的研究和应用提供理论支持和实践指导。

关键词：大数据实时流数据数据处理数据分析策略

来源：评论

学校读者我要写书评

暂无评论

模拟硬盘录像机实时流数据预览的方法

模拟硬盘录像机实时流数据预览的方法

引用

作者：张宇 400039 重庆市九龙坡区科园一路5号创新大厦7楼

本发明提供一种模拟硬盘录像机实时流数据预览的方法，包括：通过硬盘录像机虚拟机编写应用程序来模拟硬盘录像机产生的实时流数据；通过应用程序读取历史录像文件来模拟硬盘录像机的实时流数据；应用程序外部配置文件配置硬盘录像机台... 详细信息

标准号: CN105516630A

本发明提供一种模拟硬盘录像机实时流数据预览的方法，包括：通过硬盘录像机虚拟机编写应用程序来模拟硬盘录像机产生的实时流数据；通过应用程序读取历史录像文件来模拟硬盘录像机的实时流数据；应用程序外部配置文件配置硬盘录像机台数和每台硬盘录像机可同时产生的实时流通道数。相比于现有技术，本发明解决了在实时流数据预览过程中硬盘录像机设备有限、硬盘录像机实时流通道有限和实时流数据参数受限的问题。

关键词：实时流数据硬盘录像机模拟硬盘应用程序录像机流通道预览硬盘录像机设备读取历史录像文件配置文件虚拟机受限台数一种编写外部配置产生解决

来源：评论

学校读者我要写书评

暂无评论

基于VPX嵌入式系统的实时流数据处理技术研究

基于VPX嵌入式系统的实时流数据处理技术研究

引用

作者：邵云泽浙江大学

学位级别：硕士

实时流数据作为高速连续到达的数据序列,在工业控制,实时监控,自动驾驶,信号处理等与嵌入式系统密切相关的领域广泛出现。随着嵌入式系统对实时流数据的处理性能要求越来越高,嵌入式系统上传统的实时流数据处理系统遇到了瓶颈,数据传输... 详细信息

实时流数据作为高速连续到达的数据序列,在工业控制,实时监控,自动驾驶,信号处理等与嵌入式系统密切相关的领域广泛出现。随着嵌入式系统对实时流数据的处理性能要求越来越高,嵌入式系统上传统的实时流数据处理系统遇到了瓶颈,数据传输速度、实时性与数据处理带宽等方面的问题越来越突出。针对嵌入式系统对实时流数据进行处理时数据传输速度、实时性与数据处理带宽等方面的问题,本文给出并论述了一套基于VPX嵌入式系统的高性能实时流数据传输、分析与存储软件的系统。该系统融合了基于VPX嵌入式系统的板间数据传输技术和基于PCIe协议的对称多处理流数据处理技术,能够在一定条件下有效解决嵌入式系统上对实时流数据进行处理时实时性低,带宽不足的问题。本文基于论述的软件系统,对实时操作系统,PCIe总线协议,VPX总线协议等技术进行了研究,结合应用需求分析并论证了软件系统总体架构和方案,分别对实时流数据收发管理软件、分析软件与存储软件进行了设计,详细论证了命令控制模块,缓存管理模块等关键模块以及软件各个层级架构的设计思路与具体实现。本文最后在VPX嵌入式系统上对论述的软件系统以及具体的软件实现进行了相应的测试与分析。分析的结果说明驱动程序与应用程序能够正常加载并且长时间地保持正常工作状态,并且流数据传输,分析与存储的速度分别达到了1500MB/s,1100MB/s,2.225GB/s,满足高速实时流数据传输的需求,验证了本系统高实时性,高速率的特点,说明了本系统在面向嵌入式系统的实时流数据处理领域内具有良好的应用价值。

关键词： VPX PCIe 实时操作系统实时流数据高速率高实时性

来源：评论

学校读者我要写书评

暂无评论

基于storm的实时物流数据查询系统设计与实现

基于storm的实时物流数据查询系统设计与实现

引用

作者：谈杰南京邮电大学

学位级别：硕士

基于物联网的智慧物流是在物流配送中集成智能化技术,它为物流管理提供丰富的管理信息,使物流能够具有思维,感知,分析学习和自动解决配送中的问题的能力,从而高效,快捷,方便地存储和运输货物。随着物流功能的扩展,传统物流管理系统存在... 详细信息

基于物联网的智慧物流是在物流配送中集成智能化技术,它为物流管理提供丰富的管理信息,使物流能够具有思维,感知,分析学习和自动解决配送中的问题的能力,从而高效,快捷,方便地存储和运输货物。随着物流功能的扩展,传统物流管理系统存在以下不足。(1)智能物流通过传感器将物流货物的温度信息,湿度信息等详细信息实时传送至服务器端供用户查询,物流信息的数据量开始爆炸式地增长,而传统物流管理系统存在单节点运算的性能瓶颈,无法处理物流管理中产生的海量数据。(2)物流数据源源不断地产生,具有无限性,实时性,多样性等特点,人们对于物流数据处理的方式趋向于实时化,个性化查询,传统的物流信息管理系统无法满足人们对实时的多样化的物流数据查询的需要。本论文针对以上问题,调研推特公司推出的storm实时分布式流处理平台和斯坦福大学的数据流管理系统stream,针对实时的物流数据处理设计实现了基于storm的实时物流数据查询系统,主要进行了如下的研究实现工作。首先,论文设计了结构化持续查询语言CSQL(Continues Struct Query Language),并基于开源工具antlr开发该语言的词法语法解析器。CSQL选取了stream系统中的持续查询语言CQL(Continues Query Language)中支持监控的查询语句,并结合SQL(Struct Query Language)的语法规则做了相应的简化,并通过antlr开发了词法和语法分析工具,对于错误的关键字词提示词法错误信息,同时对语法有错误的语句提示语法错误信息,从而使数据管理员能够使用简单的查询语句实现复杂的数据分析功能。其次,论文完成了实时物流查询系统中以下三个关键模块的设计与编码工作。(1)对查询语句的语义提取。(2)逻辑计划生成。(3)物理拓扑提交。对于通过词法和语法解析的正确查询语句,服务器对于该语句进行语义的提取,并结合语义生成逻辑计划,通过算子优先级选择、组合、调度算子集中的算子,优化逻辑计划,最终生成物理执行拓扑,提交至storm平台运行。从而使不熟悉storm平台的用户可以方便提交分布式查询任务。最后,论文设计并实现可远程操作系统的类jdbc功能的JRDT(Java Real-time Develop Tool)客户端。JRDT用java语言实现,提供了登录,创建流,查询,监听和关闭流功能,实现了用户与系统的友好交互。并使用java的swing框架编写了可视化界面,从而用户可以更加直观地与服务器进行交互,方便数据管理员通过界面或者程序对查询结果做进一步处理。

关键词：实时物流物联网 storm平台实时流数据分布式查询

来源：评论

学校读者我要写书评

暂无评论

基于实时分布式并行计算架构的轨迹流数据聚类方法研究

基于实时分布式并行计算架构的轨迹流数据聚类方法研究

引用

作者：陈亮苏州大学

学位级别：硕士

随着移动定位设备的普及和网络通信设施的完善,海量轨迹数据能够被实时地收集。这类时空轨迹数据可用于轨迹知识挖掘、信息提前获取,如驾驶异常检测、交通拥堵监测与预测、疫情下人群聚集行为监测等应用场景的建设。时空轨迹大数据具有... 详细信息

随着移动定位设备的普及和网络通信设施的完善,海量轨迹数据能够被实时地收集。这类时空轨迹数据可用于轨迹知识挖掘、信息提前获取,如驾驶异常检测、交通拥堵监测与预测、疫情下人群聚集行为监测等应用场景的建设。时空轨迹大数据具有传统大数据的4V特性,并且其信息价值将随着时间流逝而衰减,如对于交通路况信息,即时的结果信息发布将能更有效的规避道路拥堵,为此实时处理轨迹数据将是本文重要关注点。轨迹聚类是上述城市应用的基础,可以检测群体聚集活动。然而,基于时空轨迹数据进行实时流聚类的算法目前仍然存在伪实时、高延迟、负载不均衡、分布式节点间无法感知等问题。本文基于实时分布式计算平台,聚焦于实时轨迹流聚类,设计了用于解决上述问题并快速高效的产出准确结果的实时聚类方法。实时分布式轨迹流聚类是一个新兴的焦点领域。目前已有部分工作对其进行了尝试性研究,但这些工作并没有将实时流式处理和分布式计算作有效的结合。分布式并行处理架构具有高吞吐、低延迟的特性,是目前处理海量大数据的通用平台。但分布式并行架构下的Share-nothing处理特性势必破坏轨迹的完整性语义。具体表现在,轨迹是时间和空间维度上的时空序列关联数据,在分布式节点分发数据会破坏轨迹的连续状态。除此以外,轨迹数据分析的实时性要求随着用户体验和需求的变化而越来越高。基于此,一种轨迹数据结构与分布式并行架构适配的实时分布式轨迹流聚类算法亟待提出。为了解决分布式并行架构与轨迹结构不兼容的问题,首先需要克服海量数据对系统的压力,其次解决轨迹数据在分布式环境下的计算方式的问题。因此本文从轨迹压缩方法对数据降负载,从轨迹间的计算方式出发研究轨迹聚类,并基于两个研究构建实时应用系统,最终建立了以轨迹聚类为中心的全生命周期的技术体系。具体包含:(1)设计了一种面向轨迹聚类的轻量级的实时轨迹增量压缩算法,通过增量计算以达到实时压缩、降低数据量的目的,降低后续处理的工作负载。(2)基于轨迹压缩表示提出了一种轻量实时分布式的轨迹流数据聚类算法。通过扩展本文提出的轨迹增量压缩表示算法生成轨迹摘要结构,基于摘要结构对轨迹计算生成聚类。这一解决方案既降低了数据处理量,还解决了轨迹在分布式下Share-nothing以及负载不均衡的问题。(3)基于提出的轨迹压缩和轨迹聚类形成完整的实时轨迹流数据监测系统,服务于城市交通聚集行为监测。本文研究了实时分布式轨迹流聚类方法,该方法利用分布式并行计算架构的高吞吐、流式计算的低延迟、同时融合了轨迹压缩带来的轻量级操作达到了实时轨迹大数据聚类的效果。针对海量移动对象的实时聚类监测的相关研究成果,能够用于一系列城市交通监测,推动了智慧城市轨迹交通建设。

关键词：实时流数据轨迹数据压缩在线轨迹聚类分析城市交通监测

来源：评论

学校读者我要写书评

暂无评论

基于在线相关熵极限学习机的器件退化趋势实时流预测方法

引用

仪器仪表学报 2019年第11期40卷 212-224页

作者：梅文娟高媛杜立刘震王厚军电子科技大学自动化工程学院成都611731 军委装备发展部某中心北京100000

针对器件退化趋势预测,现有方法难以有效进行模型在线更新且趋势预测易受噪声和奇异值影响产生畸变的问题,构建了一种在线受限相关熵极限学习机,并在该模型基础上,提出了预测模型动态更新方法,完成了高可靠器件退化趋势建模及参数线动... 详细信息

针对器件退化趋势预测,现有方法难以有效进行模型在线更新且趋势预测易受噪声和奇异值影响产生畸变的问题,构建了一种在线受限相关熵极限学习机,并在该模型基础上,提出了预测模型动态更新方法,完成了高可靠器件退化趋势建模及参数线动态更新。通过建立训练数据误差编码本,利用M-估计动态检测训练数据中的奇异值并进行相应的模型修正,进一步提高模型的鲁棒性。仿真实验及光电耦合器CTR实验均表明该方法相比于典型的预测方法,能够在避免实时噪声和奇异值干扰的情况下对预测模型作出有效的更新且能快速给出单步及多步的预测结果,有效地提升了实时预测的准确性。

关键词：极限学习机实时预测方法相关熵实时流数据

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：