检索结果-内蒙古大学图书馆

计算机研究与发展 2016年第8期53卷 1806-1818页

作者：姜双双廖群杨愚鲁李涛南开大学计算机与控制工程学院天津300350

广泛的互联网的商业应用使PageRank算法有重要地位.网络规模不断地增大,同时网络变化带来的时效性要求,也使PageRank计算对计算资源的要求不断地提高.为降低该问题对计算资源的消耗水平,降低计算成本,一种基于增量计算思想的PageRank算... 详细信息

广泛的互联网的商业应用使PageRank算法有重要地位.网络规模不断地增大,同时网络变化带来的时效性要求,也使PageRank计算对计算资源的要求不断地提高.为降低该问题对计算资源的消耗水平,降低计算成本,一种基于增量计算思想的PageRank算法:IncPR被提出.IncPR通过重用已有的结果,增量地获得数据变化后的结果.该算法在并行计算环境中,能够有效地降低计算量,缩短计算时间.理论分析表明,该算法计算结果的误差范围与蒙特卡罗PageRank算法相当,其时间复杂度优于其他已有的相关算法,且不引入额外的存储开销.在分布式集群Hama上进行的实验验证了理论分析的结果,IncPR在得到与蒙特卡罗PageRank算法同等(甚至更高)结果精度的情况下,显著地降低了计算量.

关键词： PageRank Web数据挖掘增量计算蒙特卡罗算法并行与分布式处理

来源：评论

学校读者我要写书评

暂无评论

面向DAG计算框架的增量计算关键技术研究

面向DAG计算框架的增量计算关键技术研究

引用

作者：阚京北京工业大学

学位级别：硕士

伴随信息时代的飞速发展,数据量的爆炸式增长以及计算机性能的飞越带领人们跨入到大数据的时代。面对种类庞杂且规模庞大的数据集,必须使用分布式计算框架才能够有效地进行处理,而以有向无环图(Directed Acyclic Graph,下简称DAG)模型... 详细信息

伴随信息时代的飞速发展,数据量的爆炸式增长以及计算机性能的飞越带领人们跨入到大数据的时代。面对种类庞杂且规模庞大的数据集,必须使用分布式计算框架才能够有效地进行处理,而以有向无环图(Directed Acyclic Graph,下简称DAG)模型作为作业逻辑关系编排方式的分布式计算框架就是目前最为流行的大数据计算解决方案之一。由于大数据通常以只增的方式进行数据集的更新,使得大数据在存储上通常都具备增量性。目前的DAG计算框架在对这样的数据集进行计算时仍存在诸多挑战。一是对欠缺增量的感知能力,使得数据增量后的重计算占用了过多的计算资源;二是缺少对可复用计算特别是相似计算的识别与复用。既有工作主要从应用算法层面和计算框架层面提出改进。从应用算法层面的改进仅适用特定的计算管线,无法以用户透明地方式进行优化;从计算框架层面的改进方法对数据和计算逻辑的要求较为苛刻。本文针对现存问题,通过引入间接复用以及算子裁剪的方式来对相似计算进行识别和处理,通过构建Cost Model实现了动态的缓存管理策略,从而在增加优化适用范围的同时,以用户透明的方式实现计算性能的提升。本文的主要贡献如下:(1)建立了DAG中直接复用与间接复用的识别模型。抽取了DAG计算框架中的可复用算子的特征,对直接复用与间接复用进行了分析与定义。通过该识别模型可以对DAG中的可复用部分进行识别。(2)设计并实现了DAG框架中的增量计算复用框架。本文在该框架中设计了基于DAG节点预处理、可复用计算的匹配和增量计算处理三步的增量计算复用流程。通过DAG中Filter算子的处理策略实现了Filter算子的模糊匹配与拆分机制;基于FQ-Tree的DAG可复用片段的匹配机制和增量计算处理策略实现了基于Filter算子的间接复用机制。(3)设计并实现了缓存管理机制。设计了基于Alluxio的多介质缓存存储策略。实现了基于FQ-Tree的缓存信息的维护策略及相关算法,使得缓存系统可以为算子的匹配与识别提供元信息。通过设计能够综合使用频次、复用类型以及时间相关度的Cost Model,使缓存系统可以权衡缓存块的收益。(4)设计并执行了一系列性能测评实验。通过以合理的混合比例随机产生的计算负载进行系统性能测评,在同等计算环境及计算负载条件下,本文提出的DAG增量计算复用框架使计算任务的平均计算时间减少了32.49%.

关键词：分布式计算 DAG计算增量计算计算复用

来源：评论

学校读者我要写书评

暂无评论

一种Hadoop平台时序数据增量计算方法及系统

一种Hadoop平台时序数据增量计算方法及系统

引用

作者：孙广中王丹 230026 安徽省合肥市包河区金寨路96号

本发明公开了一种Hadoop平台时序数据增量计算方法及系统，其中，该方法包括：当启动时序数据增量计算任务时，从缓存服务器中获取该时序数据的历史计算状态；根据所述历史计算状态利用包含SubCp和ReduceCP子运算的分段时序数据增量计... 详细信息

标准号: CN104199942B

本发明公开了一种Hadoop平台时序数据增量计算方法及系统，其中，该方法包括：当启动时序数据增量计算任务时，从缓存服务器中获取该时序数据的历史计算状态；根据所述历史计算状态利用包含SubCp和ReduceCP子运算的分段时序数据增量计算方法进行增量计算；其中，SubCp子运算为分别对分段时序数据进行自定义的子运算并把中间结果保存；ReduceCP子运算为运算合并阶段，根据自定义的操作对已分段时序数据的计算结果归并操作，且所述SubCp和ReduceCP子运算的计算状态均由缓存服务器维护。通过采用本发明公开的方法及系统，通过增量计算可以节省大量不必要的重复计算，从而提高了数据处理的效率。

关键词：时序数据子运算增量计算分段缓存服务器自定义启动时序数据处理数据增量中间结果重复计算归并运算合并保存维护

来源：评论

学校读者我要写书评

暂无评论

基于图属性拓扑的增量式等势概念计算

引用

控制与决策 2024年第10期39卷 3328-3336页

作者：张涛薛在发卢辉斌李少泽张菁刘学君燕山大学信息科学与工程学院河北秦皇岛066004 北京石油化工学院信息工程学院人工智能研究院北京102617

等势概念是形式概念分析和概念认知学习的一个新兴课题,为社交网络分析提供了新的思路.现有的等势概念计算方法先搜索所有的形式概念再对其进行过滤,降低计算效率.随着增量式计算的发展,实现增量式等势概念的计算是一项重要的研究课题.... 详细信息

等势概念是形式概念分析和概念认知学习的一个新兴课题,为社交网络分析提供了新的思路.现有的等势概念计算方法先搜索所有的形式概念再对其进行过滤,降低计算效率.随着增量式计算的发展,实现增量式等势概念的计算是一项重要的研究课题.为了解决上述问题,提出一种基于图属性拓扑的增量式等势概念计算方法.针对等势概念属性与对象的数量一致性特点,该方法通过对属性拓扑的结构进行优化,定义图形式背景下的图属性拓扑,进而证明图属性拓扑中极大完全多边形与等势概念一一对应的关系,并将此性质与属性拓扑的形式概念搜索算法相结合,提出静态图形式背景下直接计算等势概念的方法;基于此,进一步研究新增属性和新增对象对图属性拓扑中极大完全多边形的影响,完成增量式等势概念的直接计算.实验表明,直接计算方法能够有效提升等势概念的计算速度,并验证了所提出增量式等势概念更新计算的可行性和高效性.

关键词：形式概念分析概念认知学习等势概念增量计算属性拓扑极大完全多边形

来源：评论

学校读者我要写书评

暂无评论

一种基于MapReduce的增量计算方法

一种基于MapReduce的增量计算方法

引用

作者：孙广中刘惠民周英华 230026 安徽省合肥市包河区金寨路96号

本发明公开了一种基于MapReduce的增量计算方法，该方法包括：创建用于缓存不同的历史处理结果的增量处理模型，包括：缓存combiner结果的模型、缓存中间结果的模型与结果直接重用的模型；当获得输入数据时，根据所述输入数据的数据特... 详细信息

标准号: CN104317738B

本发明公开了一种基于MapReduce的增量计算方法，该方法包括：创建用于缓存不同的历史处理结果的增量处理模型，包括：缓存combiner结果的模型、缓存中间结果的模型与结果直接重用的模型；当获得输入数据时，根据所述输入数据的数据特性选择对应的增量处理模型进行数据处理，并在增量数据到来时，调用所述对应的增量处理模型进行数据处理时缓存的历史处理结果进行增量数据的计算。本发明公开的方法，通过选择适用于数据特性的模型进行计算，可以节省大量不必要的重复计算，从而提高了数据处理的效率。

关键词：缓存增量处理数据处理数据特性增量数据增量计算中间结果重复计算调用重用创建

来源：评论

学校读者我要写书评

暂无评论

条件函数依赖的增量计算

引用

系统工程与电子技术 2015年第11期37卷 2640-2647页

作者：刘波周健昌暨南大学信息科学技术学院广东广州510632

条件函数依赖是对传统函数依赖的扩展,它通过引入条件模式,使其语义比函数依赖更精确、表达能力更强。然而,条件函数依赖的计算需要消耗较多的时间,为了提高条件函数依赖挖掘的效率,研究了条件函数依赖增量维护方法。针对数据集增加、... 详细信息

条件函数依赖是对传统函数依赖的扩展,它通过引入条件模式,使其语义比函数依赖更精确、表达能力更强。然而,条件函数依赖的计算需要消耗较多的时间,为了提高条件函数依赖挖掘的效率,研究了条件函数依赖增量维护方法。针对数据集增加、删除、修改3种情况分别分析了条件函数依赖集变化规律,提出了条件函数依赖的增量计算算法,从而能够在数据库变化情况下,高效、动态地维护条件函数依赖。同时,在理论上对算法中关键步骤的正确性进行了论证,并通过实验验证了算法的有效性。

关键词：增量计算条件函数依赖数据挖掘

来源：评论

学校读者我要写书评

暂无评论

MapReduce框架下的增量计算技术及算法研究

MapReduce框架下的增量计算技术及算法研究

引用

作者：张沛然中国科学技术大学

学位级别：硕士

当今的大数据应用往往具有一个共同的特点,同样的计算往往在不断变化的数据上重复执行,例如社交网络数据和网页数据。在这些应用中只是少量数据发生改变,如果重新计算则工作量很大,浪费资源,因此增量计算是解决该问题的有效手段。作为... 详细信息

当今的大数据应用往往具有一个共同的特点,同样的计算往往在不断变化的数据上重复执行,例如社交网络数据和网页数据。在这些应用中只是少量数据发生改变,如果重新计算则工作量很大,浪费资源,因此增量计算是解决该问题的有效手段。作为分布式计算中的有效工具,MapReduce框架能够高效地进行批量计算,但无法直接支持增量计算,本文主要研究基于MapReduce的增量计算技术及算法,具体工作如下:1.基于MapReduce的增量计算框架设计与实现本文针对一般问题,设计并实现了一种简洁有效的增量计算框架。主要思路为:利用数据的哈希信息发现数据中重复计算的部分,避免数据的重复计算,只对新增或变化数据进行Map任务处理,并移除删除数据计算出来的中间结果,然后将经过Map处理后,新数据产生的中间结果与剩下的之前计算好的中间结果合并,再进行Reduce计算。本文设计的增量计算框架在Hadoop平台上进行了实现,而底层未做任何修改。实验表明即使数据变化比例达到25%,相对于重新计算,一些应用的加速比仍能达到1.8左右。2.基于MapReduce的增量矩阵乘法设计矩阵乘法被广泛应用在机器学习、推荐系统、社交网络等领域中,这些应用中也往往面临数据的增量变化。对于矩阵乘法计算,提出的增量计算框架存在计算效率不高的问题,鉴于此,本文提出了变化数据识别的改进方法,在原有框架上的哈希方法识别基础上再进行细粒度的元素级检查,设计了一种矩阵乘法增量计算方法,不需对MapReduce框架进行特别设计和改动,通过算法自身来识别矩阵中变化的元素,以变化元素为粒度进行细粒度增量分析与处理。实验表明该增量矩阵乘算法在矩阵元素变化率较低的情形下,具有较好的性能和实际应用前景。

关键词： MapReduce 增量计算矩阵乘法 Hadoop

来源：评论

学校读者我要写书评

暂无评论

信息集成服务中视图增量计算方法的研究

引用

统计与管理 2016年第2期31卷 94-95页

作者：李旭芳梁为上海工程技术大学管理学院深圳市电化教育中心

采用对实化视图进行增量维护的方法可以给数字图书馆的信息集成服务系统带来快速访问视图以及优化查询过程等益处,提高效率。本文提出了一种新的异步增量计算方法——PCA算法。该算法采用部分补偿的方法来有效地补偿因延迟计算而引起的... 详细信息

采用对实化视图进行增量维护的方法可以给数字图书馆的信息集成服务系统带来快速访问视图以及优化查询过程等益处,提高效率。本文提出了一种新的异步增量计算方法——PCA算法。该算法采用部分补偿的方法来有效地补偿因延迟计算而引起的错误,对每个基表的数据只需进行一次补偿,其时间复杂度只有O(n2),并通过实验验证。

关键词：信息集成实化视图视图维护增量计算

来源：评论

学校读者我要写书评

暂无评论

一种分布式高阶SVD及其增量计算的方法

一种分布式高阶SVD及其增量计算的方法

引用

作者：杨天若杨天楚陈星宇王晓康 213000 江苏省常州市新北区河海中路85号浙江大学常州工业技术研究院215

本发明公开了一种分布式高阶SVD及其增量计算的方法。目前张量的分解往往采用基于单机的HOSVD方法，技术中存在的不足，本发明引入分布式框架及其设计理念，对传统的基于单机的HOSVD分解算法进行了修改，实现了HOSVD分解算法的并行化，... 详细信息

标准号: CN107015946A

本发明公开了一种分布式高阶SVD及其增量计算的方法。目前张量的分解往往采用基于单机的HOSVD方法，技术中存在的不足，本发明引入分布式框架及其设计理念，对传统的基于单机的HOSVD分解算法进行了修改，实现了HOSVD分解算法的并行化，以解决因单机内存限制而导致HOSVD分解过程中内存溢出以及单机处理时间过长的问题。同时也实现了张量增量方式的HOSVD分解算法，从而提高了张量分解的效率，使其能够更好地应用于大数据中。

关键词：分解算法单机分解分布式框架单机处理内存限制内存溢出增量方式增量计算并行化传统的大数据高阶引入应用还原过程合并还原

来源：评论

学校读者我要写书评

暂无评论

一种面向动态图增量计算的均衡负载方法及系统

一种面向动态图增量计算的均衡负载方法及系统

引用

作者：廖小飞吕新桥金海肖威张宇 430074 湖北省武汉市洪山区珞喻路1037号

本发明公开了一种面向动态图增量计算的均衡负载方法及系统，包括：利用上轮迭代计算过程中顶点的度与顶点的初始化增量值以及顶点的收敛时间生成预测直方图；图形数据结构发生变化后，初始化图数据中所有顶点的状态值与增量值；在新一... 详细信息

标准号: CN107479968A

本发明公开了一种面向动态图增量计算的均衡负载方法及系统，包括：利用上轮迭代计算过程中顶点的度与顶点的初始化增量值以及顶点的收敛时间生成预测直方图；图形数据结构发生变化后，初始化图数据中所有顶点的状态值与增量值；在新一轮迭代计算开始之前，利用直方图以及新的顶点的度与初始化增量值预测各顶点对应的收敛时间；由各分区的从节点统计该分区所有顶点的负载情况并发送到主节点，由主节点调度均衡各分区的负载并将决策结果返回给各从节点；由从节点迁移分区的负载到目标分区或接收来自过载分区的负载。通过本发明可以在动态图形数据发生变化之后，新一轮迭代计算过程中各个分区的负载情况保持均衡，从而达到加快图形迭代计算的效果。

关键词：分区迭代计算初始化直方图主节点均衡收敛动态图形数据图形数据结构节点迁移节点统计决策结果目标分区时间生成增量计算动态图图数据预测过载上轮并发调度返回

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：