检索结果-内蒙古大学图书馆

系统工程与电子技术 2015年第11期37卷 2640-2647页

作者：刘波周健昌暨南大学信息科学技术学院广东广州510632

条件函数依赖是对传统函数依赖的扩展,它通过引入条件模式,使其语义比函数依赖更精确、表达能力更强。然而,条件函数依赖的计算需要消耗较多的时间,为了提高条件函数依赖挖掘的效率,研究了条件函数依赖增量维护方法。针对数据集增加、... 详细信息

条件函数依赖是对传统函数依赖的扩展,它通过引入条件模式,使其语义比函数依赖更精确、表达能力更强。然而,条件函数依赖的计算需要消耗较多的时间,为了提高条件函数依赖挖掘的效率,研究了条件函数依赖增量维护方法。针对数据集增加、删除、修改3种情况分别分析了条件函数依赖集变化规律,提出了条件函数依赖的增量计算算法,从而能够在数据库变化情况下,高效、动态地维护条件函数依赖。同时,在理论上对算法中关键步骤的正确性进行了论证,并通过实验验证了算法的有效性。

关键词：增量计算条件函数依赖数据挖掘

来源：评论

学校读者我要写书评

暂无评论

视图增量计算的延迟部分补偿算法

引用

计算机集成制造系统 2011年第5期17卷 1024-1031页

作者：邹先霞潘久辉贾维嘉中南大学信息科学与工程学院湖南长沙410083 暨南大学计算机系广东广州510632 香港城市大学计算机系

为解决异步传播算法中视图增量计算时间过长、占用系统资源过多及某些错误补偿问题,提出了在数据源上进行延迟部分补偿的算法。该算法要求获取数据源的基表增量时记下增量的事务时间,在实化视图层记录已用于视图增量计算的基表增量的最... 详细信息

为解决异步传播算法中视图增量计算时间过长、占用系统资源过多及某些错误补偿问题,提出了在数据源上进行延迟部分补偿的算法。该算法要求获取数据源的基表增量时记下增量的事务时间,在实化视图层记录已用于视图增量计算的基表增量的最大事务提交时间。当计算实化视图新的增量时,比较同一个数据源在实化视图层上的记录时间与增量子查询的执行时间,如果这段时间基表产生新的增量,则进行补偿查询。补偿过程采用单个数据源上的时间进行比较,避免了全局时间问题,也解决了现有部分补偿算法可能产生的错误。该算法利用基表之间的主外码约束来减少计算次数,提高计算效率。分析和实验表明,该算法在计算效率和正确性方面都有所提高。

关键词：实化视图异步传播增量计算部分补偿数据仓库算法

来源：评论

学校读者我要写书评

暂无评论

IncPR:一种基于增量计算的并行PageRank算法

引用

计算机研究与发展 2016年第8期53卷 1806-1818页

作者：姜双双廖群杨愚鲁李涛南开大学计算机与控制工程学院天津300350

广泛的互联网的商业应用使PageRank算法有重要地位.网络规模不断地增大,同时网络变化带来的时效性要求,也使PageRank计算对计算资源的要求不断地提高.为降低该问题对计算资源的消耗水平,降低计算成本,一种基于增量计算思想的PageRank算... 详细信息

广泛的互联网的商业应用使PageRank算法有重要地位.网络规模不断地增大,同时网络变化带来的时效性要求,也使PageRank计算对计算资源的要求不断地提高.为降低该问题对计算资源的消耗水平,降低计算成本,一种基于增量计算思想的PageRank算法:IncPR被提出.IncPR通过重用已有的结果,增量地获得数据变化后的结果.该算法在并行计算环境中,能够有效地降低计算量,缩短计算时间.理论分析表明,该算法计算结果的误差范围与蒙特卡罗PageRank算法相当,其时间复杂度优于其他已有的相关算法,且不引入额外的存储开销.在分布式集群Hama上进行的实验验证了理论分析的结果,IncPR在得到与蒙特卡罗PageRank算法同等(甚至更高)结果精度的情况下,显著地降低了计算量.

关键词： PageRank Web数据挖掘增量计算蒙特卡罗算法并行与分布式处理

来源：评论

学校读者我要写书评

暂无评论

可变精度粗糙集β值的增量计算

引用

计算机科学 2008年第3期35卷 228-230,266页

作者：吉阳生商琳南京大学计算机软件新技术国家重点实验室南京大学计算机科学与技术系南京210093

目前对于可变精度粗糙集中变精度参数β计算的研究,主要集中在非增量方面。当处理大量数据时,需要能够动态计算的方法,本文提出了一种增量计算β值的方法ICObeta。该方法以分类质量作为确定性度量的标准,以最大确定性度量为目标,来选取... 详细信息

目前对于可变精度粗糙集中变精度参数β计算的研究,主要集中在非增量方面。当处理大量数据时,需要能够动态计算的方法,本文提出了一种增量计算β值的方法ICObeta。该方法以分类质量作为确定性度量的标准,以最大确定性度量为目标,来选取合适的β值。ICObeta相比于非增量的方法,具有动态增量和计算开销显著降低的优点,并通过实验证实了增量计算的优点。

关键词：可变精度粗糙集分类质量属性模式增量计算

来源：评论

学校读者我要写书评

暂无评论

IPM——一种增量计算的自动生成模型

引用

计算机科学 1996年第4期23卷 61-64页

作者：廖湖声北京工业大学计算机学院北京100044

增量计算在排版系统、编译系统和各种软件工具中有着广泛的应用,而实现一个增量式软件系统往往需要采用复杂的算法设计和艰苦的程序调试.近年来,随着部分求值技术的发展,人们开始研究用于增量计算的通用的程序生成方法,以求从根本上消... 详细信息

增量计算在排版系统、编译系统和各种软件工具中有着广泛的应用,而实现一个增量式软件系统往往需要采用复杂的算法设计和艰苦的程序调试.近年来,随着部分求值技术的发展,人们开始研究用于增量计算的通用的程序生成方法,以求从根本上消除使用增量计算实现算法的需求。有关增量计算自动生成的研究工作,大致可分为两类一类以耶鲁大学的Hudak研究组为代表[lJ,力图建立一种完成增量计算的程序执行环境。在这种环境中,应用程序的每次执行将能够利用上次执行的部分计算结果。另一类以康乃尔大学的Teitel-baum研究组为代表。

关键词： IPM 增量计算程序生成法

来源：评论

学校读者我要写书评

暂无评论

基于增量计算的信息系统属性粒结构计算方法

引用

计算机应用 2015年第7期35卷 1915-1920页

作者：郝彦彬郭晓杨乃定西北工业大学管理学院西安710072 西安电子科技大学经济与管理学院西安710071

针对不可分离信息系统的属性粒结构计算问题,提出一种利用分治和增量计算相结合的计算方法。首先,研究了在信息系统函数依赖集上增加新的函数依赖(FD)后,信息系统属性粒结构的变化规律,证明了信息系统结构增量定理;其次,通过移除部分函... 详细信息

针对不可分离信息系统的属性粒结构计算问题,提出一种利用分治和增量计算相结合的计算方法。首先,研究了在信息系统函数依赖集上增加新的函数依赖(FD)后,信息系统属性粒结构的变化规律,证明了信息系统结构增量定理;其次,通过移除部分函数依赖,使不可分离信息系统成为可分离信息系统,利用分解定理计算出可分离信息系统结构;然后,将移除的函数依赖加入可分离信息系统,利用增量定理计算出原信息系统结构;最后,给出了计算不可分离信息系统属性粒结构的算法,分析了算法复杂度。与直接计算不可分离信息系统的粒结构相比,该计算方法可将计算复杂度从O(n×m×2n)降低到小于O(n×k×2n)(k计算表明,所提方法能有效降低不可分离信息系统属性粒结构的计算复杂度。

关键词：函数依赖属性粒信息系统结构增量计算复杂度

来源：评论

学校读者我要写书评

暂无评论

基于XQuery的增量计算程序自动生成技术研究

基于XQuery的增量计算程序自动生成技术研究

引用

作者：金雪云北京工业大学

学位级别：博士

在计算机软件应用领域，增量计算（Incremental Computation）有广泛的应用基础。然而增量计算的实现通常需要复杂的算法设计与艰苦的软件维护，从而限制了此类计算机应用系统的发展与普及，因此增量计算的实现迫切需要程序自动生成工... 详细信息

在计算机软件应用领域，增量计算（Incremental Computation）有广泛的应用基础。然而增量计算的实现通常需要复杂的算法设计与艰苦的软件维护，从而限制了此类计算机应用系统的发展与普及，因此增量计算的实现迫切需要程序自动生成工具的支持。另一方面，由于XML被普遍应用于实现异构信息和异构平台的数据交换和数据共享，而XQuery又被W3C组织提出作为XML数据查询的标准，越来越多的应用采用XQuery语言实现XML数据计算，因此研究XQuery查询优化技术成为现在的研究热点。本研究发展了一种基于XQuery的增量计算程序自动生成技术，可对采用XQuery语言描述的计算程序进行程序变换，自动生成能够响应与此计算相关的数据变化的增量更新程序代码，依据前次计算结果得到新的计算结果，且令此增量更新代码的执行效率优于重新执行此计算的效率。首先，本研究提出了一个基于XQuery的增量计算程序自动生成方法。作为一个通用增量计算方法，此方法既能响应XML数据更新实现查询型增量计算，也能响应输入数据的更新实现计算型增量计算。此方法应用范围广，能够处理带有分支和自定义函数的XQuery计算，对于无法处理的程序结构，使用探索查询实现增量计算从而保证方法的通用性；生成的增量更新程序用XQuery语言描述，可以用任意XQuery引擎执行。其次，针对XQuery语言的特点，提出基于双向分析的增量更新代码生成技术。此技术采用自底向上的反向更新传播分析和自顶向下的正向结构构造分析实现增量更新代码生成。此技术可以处理带有分支和自定义函数的XQuery计算，不需要XML数据提供索引和Schema的支持，且无辅助信息存储，通用性强。再次，为支持增量更新代码生成，提出了XPath更新区域分析方法实现XPath变更区域的捕获。此分析方法不仅能够响应XML数据更新以捕获变更区域，也可以响应输入数据的更新捕获变更区域，支持除“//*”以及反向轴之外的所有XPath表达式。此方法生成的变更区域不仅用于实现基于双向分析的增量更新代码生成技术实现增量更新程序的代码生成，也能用于实现XPath计算结果的增量维护。最后，本研究研制一个新型的XQuery物化视图增量维护系统。此系统作为一个分布式系统中实现高性能的XML数据查询的新型软件工具，应用基于XQuery的增量计算程序自动生成方法，响应后台数据库变化，异步增量维护XQuery物化视图。此系统采用三层架构使之更容易地适应分布式数据处理。为提升系统效率，提出XML数据更新合并算法和增量计算程序合并算法来提升系统效率。

关键词：增量计算代码自动生成双向分析 XQuery XPath

来源：评论

学校读者我要写书评

暂无评论

What-if分析中的Max数据方体增量计算

引用

计算机工程 2010年第9期36卷 29-31页

作者：肖艳芹李俊黄炜河北大学计算中心保定071002

基于历史数据,what-if分析方法可对假设情景进行分析,为决策者提供预测信息,但在分析过程中存在数据方体的重新计算问题。针对该问题,提出一种使用Max函数的数据方体增量计算方法,减少增量计算过程中对事实表的访问时间。实验结果表明,... 详细信息

基于历史数据,what-if分析方法可对假设情景进行分析,为决策者提供预测信息,但在分析过程中存在数据方体的重新计算问题。针对该问题,提出一种使用Max函数的数据方体增量计算方法,减少增量计算过程中对事实表的访问时间。实验结果表明,该方法可将增量计算的性能提高约15%。

关键词： what-if分析数据方体 delta表增量计算

来源：评论

学校读者我要写书评

暂无评论

面向DAG计算框架的增量计算关键技术研究

面向DAG计算框架的增量计算关键技术研究

引用

作者：阚京北京工业大学

学位级别：硕士

伴随信息时代的飞速发展,数据量的爆炸式增长以及计算机性能的飞越带领人们跨入到大数据的时代。面对种类庞杂且规模庞大的数据集,必须使用分布式计算框架才能够有效地进行处理,而以有向无环图(Directed Acyclic Graph,下简称DAG)模型... 详细信息

伴随信息时代的飞速发展,数据量的爆炸式增长以及计算机性能的飞越带领人们跨入到大数据的时代。面对种类庞杂且规模庞大的数据集,必须使用分布式计算框架才能够有效地进行处理,而以有向无环图(Directed Acyclic Graph,下简称DAG)模型作为作业逻辑关系编排方式的分布式计算框架就是目前最为流行的大数据计算解决方案之一。由于大数据通常以只增的方式进行数据集的更新,使得大数据在存储上通常都具备增量性。目前的DAG计算框架在对这样的数据集进行计算时仍存在诸多挑战。一是对欠缺增量的感知能力,使得数据增量后的重计算占用了过多的计算资源;二是缺少对可复用计算特别是相似计算的识别与复用。既有工作主要从应用算法层面和计算框架层面提出改进。从应用算法层面的改进仅适用特定的计算管线,无法以用户透明地方式进行优化;从计算框架层面的改进方法对数据和计算逻辑的要求较为苛刻。本文针对现存问题,通过引入间接复用以及算子裁剪的方式来对相似计算进行识别和处理,通过构建Cost Model实现了动态的缓存管理策略,从而在增加优化适用范围的同时,以用户透明的方式实现计算性能的提升。本文的主要贡献如下:(1)建立了DAG中直接复用与间接复用的识别模型。抽取了DAG计算框架中的可复用算子的特征,对直接复用与间接复用进行了分析与定义。通过该识别模型可以对DAG中的可复用部分进行识别。(2)设计并实现了DAG框架中的增量计算复用框架。本文在该框架中设计了基于DAG节点预处理、可复用计算的匹配和增量计算处理三步的增量计算复用流程。通过DAG中Filter算子的处理策略实现了Filter算子的模糊匹配与拆分机制;基于FQ-Tree的DAG可复用片段的匹配机制和增量计算处理策略实现了基于Filter算子的间接复用机制。(3)设计并实现了缓存管理机制。设计了基于Alluxio的多介质缓存存储策略。实现了基于FQ-Tree的缓存信息的维护策略及相关算法,使得缓存系统可以为算子的匹配与识别提供元信息。通过设计能够综合使用频次、复用类型以及时间相关度的Cost Model,使缓存系统可以权衡缓存块的收益。(4)设计并执行了一系列性能测评实验。通过以合理的混合比例随机产生的计算负载进行系统性能测评,在同等计算环境及计算负载条件下,本文提出的DAG增量计算复用框架使计算任务的平均计算时间减少了32.49%.

关键词：分布式计算 DAG计算增量计算计算复用

来源：评论

学校读者我要写书评

暂无评论

面向动态大图的异步增量计算优化机制

面向动态大图的异步增量计算优化机制

引用

作者：肖威华中科技大学

学位级别：硕士

在动态图处理系统中,保持图计算结果实时更新至关重要,增量计算能重用历史计算结果来保持计算结果实时更新。然而,现有的异步增量图处理系统仍受限于欠佳的图计算收敛速度,这是因为它们忽略了一些重要顶点(对图收敛速度很重要)对状态传... 详细信息

在动态图处理系统中,保持图计算结果实时更新至关重要,增量计算能重用历史计算结果来保持计算结果实时更新。然而,现有的异步增量图处理系统仍受限于欠佳的图计算收敛速度,这是因为它们忽略了一些重要顶点(对图收敛速度很重要)对状态传播效率的影响,而且它们忽略了顶点之间的固有连接性,数据的随机分布使得各数据分区之间的通讯开销大大增加,同时也增加了随机访问,降低了系统性能。面向动态大图异步增量计算的优化机制在原异步增量计算系统上设计实现了一个新的优化框架,着重解决现有异步增量图处理系统缺乏有效的图划分方法与调度方法的问题。首先,该优化框架提出了一种基于重要顶点的动态图划分方法,由于图中的少数重要顶点在迭代计算过程中容易被高频访问,该方法采用优先集中放置重要顶点及其关联的边的策略,以数据块管理各个分区,使得迭代计算具有较好的局部性。然后,在基于重要顶点的动态图划分方法的基础上,该优化框架提出了一种基于数据块的优先级的调度策略,该调度策略优先选择更具有传播影响力的数据块进行处理,能有效提高顶点状态传播效率。图迭代计算过程中,通过使用该优化框架,分区内的重要顶点将拥有更好的局部性,顶点状态传播效率将会增加。实验表明,面向动态大图异步增量计算的优化机制能在原系统上正确稳定运行,有效地减少迭代计算更新次数,增加局部性,减少图计算收敛时间。相对于原系统,顶点总体迭代更新次数减少了30%,总体计算时间减少了35%。

关键词：增量计算图处理迭代计算异步

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：