检索结果-内蒙古大学图书馆

广西科学 2019年第4期26卷 398-404页

作者：杨宁许嘉吕品李陶深广西大学计算机与电子信息学院广西南宁530004 广西高校并行与分布式计算技术重点实验室广西南宁530004 南宁学院广西南宁530200

为了解决现有的乱序数据流聚合查询处理技术不能在降低查询处理延迟,同时保障聚合查询结果的最终正确性的局限性问题,本研究设计了混合嵌入分布式流处理模块和分布式批处理模块的乱序数据流分布式聚合查询处理技术。该技术一方面基于用... 详细信息

为了解决现有的乱序数据流聚合查询处理技术不能在降低查询处理延迟,同时保障聚合查询结果的最终正确性的局限性问题,本研究设计了混合嵌入分布式流处理模块和分布式批处理模块的乱序数据流分布式聚合查询处理技术。该技术一方面基于用户给定的结果质量,限制自适应地优化流处理模块所用的缓冲区大小,从而尽可能降低流处理的查询处理延迟;另一方面基于备份于分布式数据存储系统的历史流数据,并以批处理的方式实现对极其晚到流元组的查询处理,从而保障聚合查询结果的最终正确性。基于真实的乱序数据流数据集对该技术进行测试分析表明:该技术在平均查询处理时延、查询结果精度和系统可扩展性方面,比目前最好的基于缓存的乱序数据流处理技术均具有显著优势。

关键词：乱序数据流混合处理模型聚合查询分布式查询处理

来源：评论

学校读者我要写书评

暂无评论

一种乱序数据流中基于误差反向传播的模板匹配方法

一种乱序数据流中基于误差反向传播的模板匹配方法

引用

作者：王堃卓林超孙雁飞吴蒙郭篁高会 210003 江苏省南京市鼓楼区新模范马路66号

一种乱序数据流中基于误差反向传播的模板匹配算法，针对大数据中乱序数据流难以在短时间内获取有价值的信息的问题，提出了一个改进型匹配模型，对数据进行预处理；提出了动态自适应调整机制，重新定义了性能均方差函数、输出层节点误... 详细信息

标准号: CN103559537B

一种乱序数据流中基于误差反向传播的模板匹配算法，针对大数据中乱序数据流难以在短时间内获取有价值的信息的问题，提出了一个改进型匹配模型，对数据进行预处理；提出了动态自适应调整机制，重新定义了性能均方差函数、输出层节点误差项、隐层节点误差项、阈值、连接权值、学习指数。根据匹配模型未知的乱序数据流以及用户的不同需求，确定所需的匹配模板，并对数据流进行预处理，同时加入遗忘因子，动态调整匹配模板。设定好匹配模板之后，同时运用自适应调整机制修正阈值、连接权值和学习指数。仿真结果表明，算法在精度以及运行速度上有着明显的提升，并具有较好的稳定性。

关键词：乱序数据流匹配模板预处理连接权值匹配模型误差项动态自适应调整模板匹配算法误差反向传播自适应调整数据流不同需求动态调整仿真结果同时加入修正阈值遗忘因子隐层节点运行速度重新定义大数据短时间改进型均方差输出层有价值算法一种未知设定学习获取提升进行运用表明确定明显

来源：评论

学校读者我要写书评

暂无评论

一种乱序数据流分布式聚合查询方法、系统及介质

一种乱序数据流分布式聚合查询方法、系统及介质

引用

作者：许嘉吕品 530004 广西壮族自治区南宁市西乡塘区大学东路100号

本发明涉及计算机领域的流数据查询处理技术，具体涉及一种乱序数据流分布式聚合查询方法、系统及介质，为了解决现有乱序数据流聚合查询不能在降低查询处理延迟的同时保障聚合查询结果的最终正确性的问题，本发明一方面基于用户给定的... 详细信息

标准号: CN110362600B

本发明涉及计算机领域的流数据查询处理技术，具体涉及一种乱序数据流分布式聚合查询方法、系统及介质，为了解决现有乱序数据流聚合查询不能在降低查询处理延迟的同时保障聚合查询结果的最终正确性的问题，本发明一方面基于用户给定的结果质量限制来自适应地优化流处理模块所用的缓冲区大小，尽可能降低流处理模块的查询处理延迟，另一方面基于备份于分布式数据存储系统的历史流数据并由批处理模块以批处理的方式实现对晚到流元组的查询处理，从而保障聚合查询结果的最终正确性。基于真实的乱序数据流数据集测试分析表明：本发明比目前最好的基于缓存的乱序数据流处理技术在平均查询处理时延、查询结果精度和系统可扩展性方面均具有显著优势。

关键词：查询处理乱序数据流聚合查询结果批处理流处理流数据延迟分布式数据存储系统缓存系统可扩展性计算机领域缓冲区查询测试分析用户给定质量限制数据集备份时延元组优化

来源：评论

学校读者我要写书评

暂无评论

一种对乱序数据流排序的方法

一种对乱序数据流排序的方法

引用

作者：刘栋武剑锋王泊宋亦鹰张熊熊林丽丽白硕 200120 上海市浦东新区浦东南路528号

本发明提供了一种能够在内存受限的情况下对高速乱序数据流进行高性能、高可用性地排序的方法，包括：将到达数据按顺序插入到固定大小的第一缓存中合适的位置，如果在第一缓存中找不到合适的位置，则按顺序将所述到达数据插入到第二缓... 详细信息

标准号: CN103309940B

本发明提供了一种能够在内存受限的情况下对高速乱序数据流进行高性能、高可用性地排序的方法，包括：将到达数据按顺序插入到固定大小的第一缓存中合适的位置，如果在第一缓存中找不到合适的位置，则按顺序将所述到达数据插入到第二缓存中合适的位置；顺序地从所述第一缓存中读取数据并发送给下游，如果读取到某个位置上没有数据或者数据无效，则等待；将所述第二缓存中的数据按顺序回载到所述第一缓存中。由于本发明的第一缓存大小固定，所以在一级缓存容量受限的系统中仍能很好的工作，并且第二缓存的组织形式灵活，且提高了缓存容量和扩展性，能减小数据缺号后的等待，减小数据阻塞，避免数据丢弃。

关键词：缓存减小读取乱序数据流缓存容量容量受限数据丢弃数据无效数据阻塞一级缓存组织形式扩展性可用受限并发排序灵活

来源：评论

学校读者我要写书评

暂无评论

一种乱序数据流分布式聚合查询方法、系统及介质

一种乱序数据流分布式聚合查询方法、系统及介质

引用

作者：许嘉吕品 530004 广西壮族自治区南宁市西乡塘区大学东路100号

标准号: CN110362600A

来源：评论

学校读者我要写书评

暂无评论

一种乱序数据流上的偏倚抽样算法

引用

计算机研究与发展 2011年第S2期48卷 676-681页

作者：秦林新刘奇志南京大学计算机软件新技术国家重点实验室南京2100933 南京大学计算机科学与技术系南京210093

抽样是生成和维护数据流概要结构的常用方法.乱序数据流中,延时到达的数据通常被丢弃,从而会降低聚集运算的精度.提出一种新的利用双时间戳进行偏倚抽样的方法,通过所设计的衰减函数确定数据流元组的权重,根据该权重进行抽样,不仅可以... 详细信息

抽样是生成和维护数据流概要结构的常用方法.乱序数据流中,延时到达的数据通常被丢弃,从而会降低聚集运算的精度.提出一种新的利用双时间戳进行偏倚抽样的方法,通过所设计的衰减函数确定数据流元组的权重,根据该权重进行抽样,不仅可以保证将最新产生的数据抽中,保留在滑动窗口内,还可以保证部分重要的延时数据不被丢弃.利用平衡二叉树存储滑动窗口内数据流元组的权重,以提高数据流操作的响应时间.实验结果表明根据双时间戳计算出的数据权重更能反映数据的实时性和代表性；与顺序结构相比,利用平衡二叉树可提高最小权重的查找速度,流数据量越大,速度提高越明显.

关键词：乱序数据流概要结构双时间戳抽样

来源：评论

学校读者我要写书评

暂无评论

一种乱序数据流上的偏倚抽样算法

引用

计算机研究与发展 2011年第S3期48卷 298-303页

作者：秦林新刘奇志南京大学计算机软件新技术国家重点实验室南京210093 南京大学计算机科学与技术系南京210093

抽样是生成和维护数据流概要结构的常用方法.乱序数据流中,延时到达的数据通常被丢弃,从而会降低聚集运算的精度.提出一种新的利用双时间戳进行偏倚抽样的方法,通过所设计的衰减函数确定数据流元组的权重,根据该权重进行抽样,不仅可以保证将最新产生的数据抽中,保留在滑动窗口内,还可以保证部分重要的延时数据不被丢弃.利用平衡二叉树存储滑动窗口内数据流元组的权重,以提高数据流操作的响应时间.实验结果表明根据双时间戳计算出的数据权重更能反映数据的实时性和代表性;与顺序结构相比,利用平衡二叉树可提高最小权重的查找速度,流数据量越大,速度提高越明显.

关键词：乱序数据流概要结构双时间戳抽样

来源：评论

学校读者我要写书评

暂无评论

QJoin:质量驱动的乱序数据流连接处理技术

引用

广西科学 2020年第3期27卷 266-275页

作者：魏星贝李陶深许嘉吕品杨宁广西大学计算机与电子信息学院广西南宁530004 广西高校并行与分布式计算技术重点实验室广西南宁530004

数据流乱序现象会导致数据流处理结果的丢失,给数据流的分析处理带来了巨大困难。本研究探讨了质量驱动下的乱序数据流连接处理问题,提出一种质量驱动的乱序数据流连接处理技术(QJoin)。QJoin采用缓冲存储技术和对称连接策略,实现并确... 详细信息

数据流乱序现象会导致数据流处理结果的丢失,给数据流的分析处理带来了巨大困难。本研究探讨了质量驱动下的乱序数据流连接处理问题,提出一种质量驱动的乱序数据流连接处理技术(QJoin)。QJoin采用缓冲存储技术和对称连接策略,实现并确保对流元组进行即时分析处理,从而降低了流元组处理的平均等待时间。同时,基于质量驱动的理念,根据临近阶段连接处理过程中收集统计的数据,自适应地调整和优化内存缓存区的大小,从而在满足用户结果质量要求的前提下,降低系统内部历史数据的内存缓存量,尽可能保证迟到元组的连接处理完整性。真实数据集上的实验结果表明,与传统的数据流乱序处理技术MP-K-slack相比,QJoin在满足用户结果质量要求的前提下,确保能够即时地分析处理数据流的流元组,显著降低系统的内存开销。

关键词：质量驱动连接处理乱序数据流存储开销流元组缓存

来源：评论

学校读者我要写书评

暂无评论

基于时间关联性的数据流乱序处理技术

基于时间关联性的数据流乱序处理技术

引用

作者：魏星贝广西大学

学位级别：硕士

随着互联网和大数据技术的不断发展与应用,产生了源源不尽的数据流。数据流的产生具有无限性、连续性、动态性和实时性,因此对数据流的分析处理要求快速有效地获取结果,以便保证分析结果的时效性。但是,数据流上的乱序问题会导致数据流... 详细信息

随着互联网和大数据技术的不断发展与应用,产生了源源不尽的数据流。数据流的产生具有无限性、连续性、动态性和实时性,因此对数据流的分析处理要求快速有效地获取结果,以便保证分析结果的时效性。但是,数据流上的乱序问题会导致数据流处理结果的丢失,给数据流的分析处理带来了巨大挑战。在对数据流的分析研究中,数据流间相似性连接是一项重要基础操作,常用于数据流的挖掘和分析。乱序问题严重破坏了数据流处理结果的完整性。本文研究基于滑动窗口语义下的数据流相似性连接问题,探讨质量驱动下的乱序数据流连接处理方法与技术,开展了以下方面的研究工作:(1)提出一种质量驱动的乱序数据流连接处理技术QJoin。该技术采用缓存技术和对称连接策略保证流元组能被即时分析处理,以降低流元组的平均等待时延,提升基于滑动窗口语义的乱序数据流连接处理的处理速率;基于质量驱动的理念,通过在临近阶段连接处理过程中收集统计数据来优化缓存的大小,使得在满足用户结果质量要求的前提下,通过降低历史数据的内存缓存量,尽可能保证迟到元组的连接处理完整性,从而降低系统的内存开销。真实数据集上的实验结果表明,与传统的数据流乱序处理技术MP-K-slack相比,QJoin技术在满足用户结果质量要求的同时,不仅能够保证数据流的流元组被即时分析处理,还显著降低了内存使用开销。(2)分析数据流速的动态变化特性,针对流速连续增大造成系统持续过载的问题,在QJoin缓存受限的基础上提出了一种系统资源降载策略。该策略在数据流速过高时,基于时间关联性适当地把冗余的元组过滤掉,以此来降低系统负荷,提高对系统持续过载问题的应对能力。真实流数据集的动态变化实验结果表明,基于QJoin的系统资源降载策略能够有效应对数据流速持续增大时系统持续过载的行为,提升了 QJoin技术的性能。本文从适应数据流应用的即时处理和用户结果质量需求的角度,提出了一种新的乱序数据流连接处理技术,有效降低了系统内存开销,提高了数据流相似性连接问题的查询效率,为基于滑动窗口语义的乱序数据流相似性连接问题处理提供了可行有效的解决方案,可以广泛地应用于视频流对象跟踪、趋势监控和谐度分析等领域。论文的研究具有一定的科学意义和应用价值。

关键词：质量驱动连接处理乱序数据流存储开销

来源：评论

学校读者我要写书评

暂无评论

乱序RFID数据流上的复杂事件检测方法

引用

西北工业大学学报 2009年第4期27卷 449-454页

作者：刘海龙李战怀陈群西北工业大学计算机学院陕西西安710072

针对发生时间戳乱序的RFID原子事件流,文章提出了一种新的复杂事件检测方法。该方法采用在一种特殊的Hash表结构中进行局部排序的方法来解决时间戳乱序问题。文中首先建立了时间戳乱序问题的描述模型;提出了面向时间戳乱序数据流的复杂... 详细信息

针对发生时间戳乱序的RFID原子事件流,文章提出了一种新的复杂事件检测方法。该方法采用在一种特殊的Hash表结构中进行局部排序的方法来解决时间戳乱序问题。文中首先建立了时间戳乱序问题的描述模型;提出了面向时间戳乱序数据流的复杂事件检测算法;在基本算法的基础上添加了基于双时间槽的滑动窗口处理;对Hash表大小等参数对算法效率的影响、基于双时间槽的滑动窗口处理方法的效果进行了实验验证。实验结果表明:算法是有效的;Hash表大小对算法效率影响较为明显;基于双时间槽的滑动窗口处理方法可以显著提高内存使用效率。

关键词： RFID 复杂事件乱序数据流 Hash表滑动窗口双时间槽

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：