检索结果-内蒙古大学图书馆

软件导刊 2017年第7期16卷 26-29页

作者：阚京陈彩梁毅北京工业大学信息学部北京100124

伴随着数据的爆炸式增长,越来越多的大数据业务分析与处理选择分布式计算平台。目前针对大数据的分布式计算框架都支持DAG式的任务编排。由于大数据采集来源以及分布式存储系统特点,很多使用DAG框架进行计算的应用都是增量式的大数据集... 详细信息

伴随着数据的爆炸式增长,越来越多的大数据业务分析与处理选择分布式计算平台。目前针对大数据的分布式计算框架都支持DAG式的任务编排。由于大数据采集来源以及分布式存储系统特点,很多使用DAG框架进行计算的应用都是增量式的大数据集,但现有的DAG框架对这样的数据集进行计算时有许多冗余,造成计算资源浪费。提出了在DAG框架上进行增量式复用的方法,并针对FILTER算子特点提出了基于FILTER算子匹配的间接复用机制。

关键词：增量计算分布式计算计算复用查询优化 DAG计算

来源：评论

学校读者我要写书评

暂无评论

多用户视频流深度学习共享计算复用方法

多用户视频流深度学习共享计算复用方法

引用

作者：汤善江刘言杰于策孙超肖健 300072 天津市南开区卫津路92号

本发明涉及计算机、视频处理，为实现在多用户场景下，通过目标识别和目标检测等技术提供视频查询的服务，本发明，多用户视频流深度学习共享计算复用方法，首先，当带有检测操作或识别操作的请求到来时，根据空间维度的关联性，对请求... 详细信息

标准号: CN110245267B

本发明涉及计算机、视频处理，为实现在多用户场景下，通过目标识别和目标检测等技术提供视频查询的服务，本发明，多用户视频流深度学习共享计算复用方法，首先，当带有检测操作或识别操作的请求到来时，根据空间维度的关联性，对请求进行合并；然后，根据时间维度的关联性，查询是否已有合适的数据可供复用，调用配置好参数的深度学习模型进行分析；对于不可复用的部分，首先根据速度精度的平衡关系，找到分析过程中最合适的参数配置，然后据此调用差异检测器与深度学习模型进行视频分析，最终将分析结果输出并存入数据仓库，提升模块则用来提升数据库中原有的结果精度以便于复用给高精度的查询请求。本发明主要应用于视频处理场合。

关键词：复用视频处理关联性调用差异检测器多用户场景参数配置查询请求分析过程计算复用检测操作空间维度目标检测目标识别平衡关系时间维度视频查询视频分析数据仓库提升模块多用户视频流学习数据库查询输出合并共享计算机配置应用分析服务

来源：评论

学校读者我要写书评

暂无评论

边缘环境基于计算复用的服务放置和任务卸载方法及系统

边缘环境基于计算复用的服务放置和任务卸载方法及系统

引用

作者：黄磊叶保留陆桑璐 210023 江苏省南京市栖霞区仙林大道163号

本发明公开了一种边缘环境基于计算复用的服务放置和任务卸载策略方法及系统。所述方法面向资源受限的边缘环境会多次被用户请求的计算服务对应的服务质量问题，将服务请求处理模式分为了三部分，一部分请求通过计算复用处理，另一部分... 详细信息

标准号: CN116320016A

本发明公开了一种边缘环境基于计算复用的服务放置和任务卸载策略方法及系统。所述方法面向资源受限的边缘环境会多次被用户请求的计算服务对应的服务质量问题，将服务请求处理模式分为了三部分，一部分请求通过计算复用处理，另一部分请求通过边缘服务器处理，剩下一部分请求交给云服务器处理，同时设置了一种合理的服务放置模式，使得有限的边缘资源下能够服务更多的请求，从而充分利用边缘资源提升了总体的服务质量。

关键词：边缘环境边缘资源计算复用服务请求处理服务质量问题服务边缘服务器计算服务任务卸载用户请求云服务器资源受限

来源：评论

学校读者我要写书评

暂无评论

车路协同场景下基于计算复用的任务卸载方法及系统

车路协同场景下基于计算复用的任务卸载方法及系统

引用

作者：唐斌李凯悦胡世红叶保留 211100 江苏省南京市江宁区佛城西路8号

本发明公开了一种车路协同场景下基于计算复用的任务卸载方法及系统。所述方法包括：建立车路协同的十字路口场景；采集不同车辆任务的相关数据集；基于车路协同系统中任务在本地、边缘服务器上计算的时延和需要满足的截止时间，建立任... 详细信息

标准号: CN117194038A

本发明公开了一种车路协同场景下基于计算复用的任务卸载方法及系统。所述方法包括：建立车路协同的十字路口场景；采集不同车辆任务的相关数据集；基于车路协同系统中任务在本地、边缘服务器上计算的时延和需要满足的截止时间，建立任务卸载优化问题方程；在边缘服务器端建立基于截止时间约束的计算重用模型，存储具有高重用性的子任务结果；在车辆端建立基于冲突图模型的最小加权结点搜索算法，得到最佳卸载决策。本发明在边缘服务器端有效重用存储的计算结果，并为任务的卸载提供最优的卸载决策，降低了任务完成时间。

关键词：边缘服务器车路协同任务卸载卸载决策存储重用截止场景计算复用任务结果任务完成时间约束搜索算法优化问题冲突图数据集重用性十字路口结点时延卸载加权采集

来源：评论

学校读者我要写书评

暂无评论

面向电路微调加速电路仿真的计算复用方法、设备和系统

面向电路微调加速电路仿真的计算复用方法、设备和系统

引用

作者：吴玉平陈岚叶甜春 100029 北京市朝阳区北土城西路3号

本发明实施例公开了一种面向电路微调加速电路仿真的计算复用方法、设备和系统，所述加速方法包括：根据获取的待仿真电路中微调发生处直流通路的位置信息及直流通路间依赖关系确定仿真变化部分和仿真不变部分；依据仿真变化部分器件端... 详细信息

标准号: CN102411663B

本发明实施例公开了一种面向电路微调加速电路仿真的计算复用方法、设备和系统，所述加速方法包括：根据获取的待仿真电路中微调发生处直流通路的位置信息及直流通路间依赖关系确定仿真变化部分和仿真不变部分；依据仿真变化部分器件端口电压电流值和仿真不变部分器件计算值构造含有仿真变化部分节点电压支路电流系数的稀疏矩阵，并求解包含所述稀疏矩阵的方程，得到仿真变化部分节点电压和支路电流在当前仿真时间点的计算值；以上一仿真周期中与当前仿真时间点相同仿真时间点及对应步长为依据，计算仿真时间步长确定下一个仿真时间点，并循环上述方法直至结束仿真时间点。解决了现有技术中对微调电路的仿真效率低下的问题。

关键词：仿真仿真时间微调节点电压稀疏矩阵支路电流直流通路电路端口电压仿真电路仿真效率计算仿真计算复用加速电路加速方法电流依赖

来源：评论

学校读者我要写书评

暂无评论

多用户视频流深度学习共享计算复用方法

多用户视频流深度学习共享计算复用方法

引用

作者：汤善江刘言杰于策孙超肖健 300072 天津市南开区卫津路92号

标准号: CN110245267A

来源：评论

学校读者我要写书评

暂无评论

面向电路微调加速电路仿真的计算复用方法、设备和系统

面向电路微调加速电路仿真的计算复用方法、设备和系统

引用

作者：吴玉平陈岚叶甜春 100029 北京市朝阳区北土城西路3号

标准号: CN102411663A

关键词：仿真仿真时间微调节点电压稀疏矩阵支路电流直流通路电路端口电压仿真电路仿真效率计算仿真计算复用加速电路加速方法电流依赖

来源：评论

学校读者我要写书评

暂无评论

面向DAG计算框架的增量计算关键技术研究

面向DAG计算框架的增量计算关键技术研究

引用

作者：阚京北京工业大学

学位级别：硕士

伴随信息时代的飞速发展,数据量的爆炸式增长以及计算机性能的飞越带领人们跨入到大数据的时代。面对种类庞杂且规模庞大的数据集,必须使用分布式计算框架才能够有效地进行处理,而以有向无环图(Directed Acyclic Graph,下简称DAG)模型... 详细信息

伴随信息时代的飞速发展,数据量的爆炸式增长以及计算机性能的飞越带领人们跨入到大数据的时代。面对种类庞杂且规模庞大的数据集,必须使用分布式计算框架才能够有效地进行处理,而以有向无环图(Directed Acyclic Graph,下简称DAG)模型作为作业逻辑关系编排方式的分布式计算框架就是目前最为流行的大数据计算解决方案之一。由于大数据通常以只增的方式进行数据集的更新,使得大数据在存储上通常都具备增量性。目前的DAG计算框架在对这样的数据集进行计算时仍存在诸多挑战。一是对欠缺增量的感知能力,使得数据增量后的重计算占用了过多的计算资源;二是缺少对可复用计算特别是相似计算的识别与复用。既有工作主要从应用算法层面和计算框架层面提出改进。从应用算法层面的改进仅适用特定的计算管线,无法以用户透明地方式进行优化;从计算框架层面的改进方法对数据和计算逻辑的要求较为苛刻。本文针对现存问题,通过引入间接复用以及算子裁剪的方式来对相似计算进行识别和处理,通过构建Cost Model实现了动态的缓存管理策略,从而在增加优化适用范围的同时,以用户透明的方式实现计算性能的提升。本文的主要贡献如下:(1)建立了DAG中直接复用与间接复用的识别模型。抽取了DAG计算框架中的可复用算子的特征,对直接复用与间接复用进行了分析与定义。通过该识别模型可以对DAG中的可复用部分进行识别。(2)设计并实现了DAG框架中的增量计算复用框架。本文在该框架中设计了基于DAG节点预处理、可复用计算的匹配和增量计算处理三步的增量计算复用流程。通过DAG中Filter算子的处理策略实现了Filter算子的模糊匹配与拆分机制;基于FQ-Tree的DAG可复用片段的匹配机制和增量计算处理策略实现了基于Filter算子的间接复用机制。(3)设计并实现了缓存管理机制。设计了基于Alluxio的多介质缓存存储策略。实现了基于FQ-Tree的缓存信息的维护策略及相关算法,使得缓存系统可以为算子的匹配与识别提供元信息。通过设计能够综合使用频次、复用类型以及时间相关度的Cost Model,使缓存系统可以权衡缓存块的收益。(4)设计并执行了一系列性能测评实验。通过以合理的混合比例随机产生的计算负载进行系统性能测评,在同等计算环境及计算负载条件下,本文提出的DAG增量计算复用框架使计算任务的平均计算时间减少了32.49%.

关键词：分布式计算 DAG计算增量计算计算复用

来源：评论

学校读者我要写书评

暂无评论

面向多任务处理的神经网络加速器设计

引用

高技术通讯 2021年第5期31卷 457-463页

作者：许浩博王颖王郁杰闵丰韩银和中国科学院计算技术研究所北京100190 中国科学院大学北京100049

本文从多任务系统以及算法硬件协同设计的角度出发,提出了一种面向多任务处理的神经网络加速器架构。在算法方面,提出了一套多任务处理算法,能够有效挖掘多任务间的特征重复性和计算重用性;在架构设计方面,设计了能够利用网络参数共享... 详细信息

本文从多任务系统以及算法硬件协同设计的角度出发,提出了一种面向多任务处理的神经网络加速器架构。在算法方面,提出了一套多任务处理算法,能够有效挖掘多任务间的特征重复性和计算重用性;在架构设计方面,设计了能够利用网络参数共享实现多任务间计算重用的加速器架构。该架构采用基于时间片的调度方法,实现了多视觉任务的高效并行处理。实验结果表明,与目前主流的移动图形处理器(GPU)相比,本文提出的加速器能够在多任务推理阶段减少65.80%的乘法运算量,同时获得了 11倍的性能提升。

关键词：神经网络多任务加速器参数共享计算复用

来源：评论

学校读者我要写书评

暂无评论

基于大数据平台的查询优化技术研究

基于大数据平台的查询优化技术研究

引用

作者：费沛轩北京工业大学

学位级别：硕士

随着互联网技术和物联网技术的高速发展,各行各业的数据量都在呈爆发式增长。海量数据蕴含着巨大的价值,为了从海量数据中提取出有价值的信息,需要对海量数据进行统计分析。在常规的海量数据应用中,通常使用类SQL查询语句来完成对海量... 详细信息

随着互联网技术和物联网技术的高速发展,各行各业的数据量都在呈爆发式增长。海量数据蕴含着巨大的价值,为了从海量数据中提取出有价值的信息,需要对海量数据进行统计分析。在常规的海量数据应用中,通常使用类SQL查询语句来完成对海量数据的统计分析。海量数据的统计分析主要有两个场景,分别是对静态数据集的统计分析和对增量数据集的统计分析。对于静态数据集的统计分析,通常会一次运行一批查询语句。这些查询具有以下三个特征:每个查询覆盖不同的查询区域;多个查询之间存在大量的公共查询区域;查询集中在一些热点查询区域。然而,现有的查询优化方法比较简单,并没有很好的利用查询的特征,忽略了多个查询之间可能存在的复用关系,容易产生冗余计算,影响计算效率。对于增量数据集的统计分析,通常会周期性地运行一批查询语句。由于数据集在不断扩增,所以之前的计算结果已经过时了,因此每次都需要重新对数据集进行计算。本文针对多区域查询优化问题和增量计算优化问题展开了深入的研究,并提出了相应的优化方法,这些优化方法可以有效地减少冗余计算,提高计算效率,现将本文的工作总结如下:(1)为了提高多区域查询的处理效率,本文根据多区域查询的特点,设计了一种基于区域聚类的MapReduce物化策略,这种物化策略利用了区域查询之间的区域重叠性和查询集的区域聚集性。这种物化策略的基本思想是区域聚类,首先对查询空间进行划分,然后利用本文提出的基于贪心策略的聚类算法来完成查询聚类,将相似程度较高的多个查询分在一个组中,每组产生一个物化视图。本文提出的方法可以避免物化视图的恶性膨胀,使得在较小的区域内进行查询处理。最后进行了相应的验证性实验,实验结果表明本文提出的方法可以有效地提升查询集的执行效率。(2)为了提高增量查询效率,本文提出了基于可合并算子的增量计算复用模型并设计实现了一种基于Spark平台的增量查询优化系统。其主要思路为:通过归并历史计算结果和新增数据的计算结果来得到最终的计算结果。为了能够复用之前的计算结果,本文定义了缓存元信息并设计了计算匹配方法。本文建立了缓存复用成本代价模型,用于评估缓存的复用成本。为了重写执行计划生成增量的执行计划,本文提出了执行计划重写规则。为了实现增量查询优化,本文还对Spark进行了扩展。由于经典的缓存替换算法并不适用于本系统,本文还提出了基于综合价值的缓存替换算法。最后通过实验验证了本文提出的增量查询优化系统能够有效地提高增量查询效率。

关键词：多查询优化区域聚类增量计算计算复用

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：