检索结果-内蒙古大学图书馆

世界电信 2015年第7期 6-6页

传统的计算机分析和数据整理方式,首先是收集数据,然后储存在数据库程序中并且在收到请求后搜索这些数据。显然,这些数据并不是实时的,如果基于这样的数据进行分析,得到的结论很有可能是错的。而流计算则是在接收流数据时就开始对其进... 详细信息

传统的计算机分析和数据整理方式,首先是收集数据,然后储存在数据库程序中并且在收到请求后搜索这些数据。显然,这些数据并不是实时的,如果基于这样的数据进行分析,得到的结论很有可能是错的。而流计算则是在接收流数据时就开始对其进行分析,其中,优先级较高的数据会被程序进行专门处理。这对于复杂、快速变化的问题格外有效,例如跟踪某流行病的发展情况并对其扩散做相应的预测,或在生

关键词：流计算程序流数据数据库数据库系统

来源：评论

学校读者我要写书评

暂无评论

一种基于动态拓扑的流计算性能优化方法及其在Storm中的实现

引用

电子学报 2020年第5期48卷 878-890页

作者：陆佳炜吴涵陈烘张元鸣梁倩卉肖刚浙江工业大学计算机科学与技术学院浙江杭州310023 阿里巴巴基础架构事业部大数据计算与服务团队浙江杭州310011 南洋理工大学计算机科学与工程学院新加坡637457

响应性和稳定性一直是流式计算中两个至关重要的问题,而流计算系统在过载时常常表现出数据计算延迟增加和拓扑不稳定的现象,无法适应数据负载的动态变化.针对这一问题本文研究提出了一种基于动态拓扑的流计算性能优化方法,主要包括:(1)... 详细信息

响应性和稳定性一直是流式计算中两个至关重要的问题,而流计算系统在过载时常常表现出数据计算延迟增加和拓扑不稳定的现象,无法适应数据负载的动态变化.针对这一问题本文研究提出了一种基于动态拓扑的流计算性能优化方法,主要包括:(1)动态逐级反压:拓扑中的任务可以根据当前自身负载情况,动态调整上游向其发送数据的速率.(2)无状态拓扑数据重放:拓扑不维持数据的计算状态,尽可能地实现数据容错.(3)自适应拓扑替换:在拓扑不暂停的情况下对任务并发度进行自发调整.(4)延迟持久化队列:拓扑中对磁盘的IO读写被延迟到数据处理之外,减缓IO高频阻塞对流计算系统的影响.本文在Apache Storm中实现了以上四种方案,性能测试结果表明优化后的流计算系统与Storm默认实现相比,不仅增强了大数据动态匹配能力,而且在最优情况下改善了17%的吞吐量,并提升了约20%的数据处理速度.

关键词：数据流拓扑流计算大数据流计算系统性能优化

来源：评论

学校读者我要写书评

暂无评论

调度中心流计算集群排队模型的CQB并行均衡控制方法

引用

中国电机工程学报 2018年第19期38卷 5704-5713页

作者：屈志坚王群峰王汉林华东交通大学电气与自动化工程学院

针对配电调度中海量监测数据的处理延迟越来越大、计算节点任务不均衡的问题,在分布式消息队列和实时流计算框架的基础上,提出一种基于排队模型的配电监控信息的CQB并行处理方法。以分布式消息队列作为数据缓存,综合运用流计算拓扑并行... 详细信息

针对配电调度中海量监测数据的处理延迟越来越大、计算节点任务不均衡的问题,在分布式消息队列和实时流计算框架的基础上,提出一种基于排队模型的配电监控信息的CQB并行处理方法。以分布式消息队列作为数据缓存,综合运用流计算拓扑并行编程模型,设计配电监测数据的拓扑实例,并对流计算集群处理拓扑计算任务时的轮询任务调度方法进行改进。以铁道配电监控系统数据和加拿大魁北克水电公司配电负荷数据为算例,对若干组拓扑实例进行数据处理延时测试和集群性能测试。结果表明：通过对消息队列分区数和流计算组件并行数的优化设置,可有效提高海量配电监控信息的响应能力和扩展集群的处理效率,改进任务调度方法可使流计算集群整体负载更加均衡,降低配电监控数据处理延时。

关键词：调度中心流计算排队论配电大数据并行均衡控制

来源：评论

学校读者我要写书评

暂无评论

支持实时流计算应用的关键技术研究进展

引用

软件学报 2024年第1期35卷 430-454页

作者：徐志榛徐辰丁光耀陈梓浩周傲英华东师范大学数据科学与工程学院上海200062 上海市大数据管理系统工程研究中心上海200062 广西可信软件重点实验室(桂林电子科技大学) 广西桂林541004

信息系统在进行知识的挖掘和管理时,需要处理各种形式的数据,流数据便是其中之一.流数据具有数据规模大、产生速度快且蕴含的知识具有较强时效性等特点,因而发展支持实时处理应用的流计算技术对于信息系统的知识管理十分重要.流计算系... 详细信息

信息系统在进行知识的挖掘和管理时,需要处理各种形式的数据,流数据便是其中之一.流数据具有数据规模大、产生速度快且蕴含的知识具有较强时效性等特点,因而发展支持实时处理应用的流计算技术对于信息系统的知识管理十分重要.流计算系统可以追溯到29世纪90年代,至今已经经历了长足的发展.然而,当前多样化的知识管理需求和新一代的硬件架构为流计算系统带来了全新的挑战和机遇,催生出了一系列流计算领域的技术研究.首先介绍流计算系统的基本需求以及发展脉络,再按照编程接口、执行计划、资源调度和故障容错4个层次分别分析流计算系统领域的相关技术;最后,展望流计算技术在未来可能的研究方向和发展趋势.

关键词：实时处理流计算数据处理系统

来源：评论

学校读者我要写书评

暂无评论

面向智能调度监测的流计算并行滑动窗口技术

引用

电网技术 2016年第7期40卷 2219-2226页

作者：屈志坚王冬华东交通大学电气工程学院江西省南昌市330013

针对智能调度监测中大量实时数据的快速处理问题,在实时流计算框架和并行拓扑编程基础上,研究一种配电网监测信息流计算的并行滑动窗口实时处理新方法。结合连续遥测对象的拓扑并行处理过程,利用并行滑动窗口的窗格聚集、窗格元组缓存... 详细信息

针对智能调度监测中大量实时数据的快速处理问题,在实时流计算框架和并行拓扑编程基础上,研究一种配电网监测信息流计算的并行滑动窗口实时处理新方法。结合连续遥测对象的拓扑并行处理过程,利用并行滑动窗口的窗格聚集、窗格元组缓存与窗口聚集等设计技巧,实现监测信息流连续计算的快速滑动窗口拓扑实例。以一个配电网调度监控的工程系统为算例,对若干组拓扑实例进行快速滑动窗口的多节点集群测试,结果表明:集群环境下各元组可得到ms级的窗口计算平均处理延时,合理设置拓扑工作进程的并行度和螺栓组件执行线程的并发数等并行参数有利于降低滑动窗口处理延时,验证了流计算拓扑的集群和并行度对提高智能配电网大规模连续监测信息的实时响应能力和处理效率具有重要意义。

关键词：智能调度流计算并行滑动窗口窗格聚集拓扑实例

来源：评论

学校读者我要写书评

暂无评论

一种采用流计算的Delaunay三角网切块剖分算法

引用

武汉大学学报（信息科学版） 2017年第7期42卷 931-936页

作者：张春亢赵学胜王洪斌贵州大学矿业学院贵州贵阳550025 中国矿业大学(北京)地球科学与测绘工程学院北京100083 核工业北京地质研究院北京100029

针对海量LiDAR点云Delaunay三角网剖分的时间与空间性能的矛盾问题,提出了一种采用切块的流计算Delaunay构网算法。首先利用三角网墙(DeWall)从点云上切割特定大小与形状的独立数据块,避免分治算法的深度递归与内存溢出;然后运用分治算... 详细信息

针对海量LiDAR点云Delaunay三角网剖分的时间与空间性能的矛盾问题,提出了一种采用切块的流计算Delaunay构网算法。首先利用三角网墙(DeWall)从点云上切割特定大小与形状的独立数据块,避免分治算法的深度递归与内存溢出;然后运用分治算法对切块剖分,并给出了切块边界错误三角形删除算法;重复上述过程完成子网剖分,并依据非耦合区域分解模式合并为最终三角网。引入流计算的思想,以进一步提高算法的空间性能。分析与实验表明:该算法占用了较低内存,并取得了接近为O(nlg(δ))(δ为一个切块点数,且δ≤n)的时间复杂度。

关键词： Delaunay三角剖分时间与空间性能切块流计算非耦合区域分解模式

来源：评论

学校读者我要写书评

暂无评论

基于流计算的大客户用能智能分析方法

引用

电力系统保护与控制 2021年第11期49卷 148-154页

作者：保富黄祖源云南电网有限责任公司信息中心云南昆明650217

针对大客户用电用能综合分析及无法及时发现用电异常的问题,设计了一种基于流计算下大客户用能智能分析方法。首先给出了大客户用能智能分析系统的整体构架,并从软硬件功能需求方面进行了描述。依托流计算技术实时处理能力和高性能数据... 详细信息

针对大客户用电用能综合分析及无法及时发现用电异常的问题,设计了一种基于流计算下大客户用能智能分析方法。首先给出了大客户用能智能分析系统的整体构架,并从软硬件功能需求方面进行了描述。依托流计算技术实时处理能力和高性能数据吞吐能力实时处理采集到的数据,运用机器学习按照用户综合用能分析数学模型和窃电识别模型学习处理异常数据。并对高风险用户一定周期内的线损计算曲线、用能曲线以及电压、电流等电气数据进行展示,为大客户智能用能提供辅助支撑。

关键词：智能分析系统大数据大客户窃电预警流计算

来源：评论

学校读者我要写书评

暂无评论

流计算与内存计算架构下的运营状态监测分析

引用

计算机应用 2017年第10期37卷 3029-3033页

作者：赵永彬陈硕刘明王佳楠贲驰国网辽宁省电力有限公司信息通信调度监控中心沈阳110004 中国科学院沈阳计算技术研究所沈阳110168 中国科学院大学北京100049 国家电网公司东北电力调控分中心沈阳110180

为满足对电网实时运营状态分析过程中对用户实时用电量数据等大规模实时数据进行实时分析处理的需求,实现对电网运营决策提供快速准确的数据分析支持,提出一种流计算与内存计算相结合的大规模数据分析处理的系统架构。将经过时间窗划分... 详细信息

为满足对电网实时运营状态分析过程中对用户实时用电量数据等大规模实时数据进行实时分析处理的需求,实现对电网运营决策提供快速准确的数据分析支持,提出一种流计算与内存计算相结合的大规模数据分析处理的系统架构。将经过时间窗划分的用户实时用电量数据进行离散傅里叶变换(DFT),实现对异常用电行为评价指标的构建;将基于抽样统计分析构造出的用户用电行为特征,采用K-Means聚类算法实现对用户用电行为类别的划分。从实际业务系统中抽取实验数据,验证了提出的异常用电行为和用户用电分析评价指标的准确性。同时,在实验数据集上与传统的数据处理策略进行对比,实验结果表明流计算与内存计算相结合的系统架构在大规模数据分析处理方面更具优势。

关键词：流计算内存计算特征构建异常监测行为划分

来源：评论

学校读者我要写书评

暂无评论

流计算环境下单点故障的快速容错机制研究

流计算环境下单点故障的快速容错机制研究

引用

作者：杨钊中国地质大学(北京)

学位级别：硕士

在面向实时数据处理的分布式流计算环境中,容错机制是流计算系统中非常重要的组成部分。基于检查点的状态回滚策略是当前大多数流计算系统采用的方法,Flink通过异步屏障快照算法实现了检查点的建立,但是在这种故障恢复机制下,故障恢复... 详细信息

在面向实时数据处理的分布式流计算环境中,容错机制是流计算系统中非常重要的组成部分。基于检查点的状态回滚策略是当前大多数流计算系统采用的方法,Flink通过异步屏障快照算法实现了检查点的建立,但是在这种故障恢复机制下,故障恢复时间会随着作业中任务规模的增长而增长,使得系统恢复成本过高,性能较差。本文面向单点故障提出了基于快照的快速容错机制。该机制利用任务的最新快照,在故障恢复阶段对重启的任务进行状态回滚,然后通过上游任务的缓存数据提升恢复精度,结合正常运行时故障任务的缓存数据保证系统处理结果一致性。通过对异步屏障快照机制及Flink内部数据传输机制的研究,将管道流中用以传输的数据持久化,并配合检查点周期重置缓存数据存储空间,利用原生机制生成的单张快照以及持久化的管道流数据完成故障任务的快速恢复。同时,利用排队理论和修正后的拓扑排序算法建立系统延时模型,再进一步结合Flink原生容错机制和快速容错机制的特性分别建立故障恢复延时模型,通过模型的对比,从理论层面论证快速容错机制的合理性。针对原生容错机制和快速容错机制,设计相同环境下的对比实验。实验表明,当任务个数由4个上升到12个时,原生容错机制下的故障恢复时间由59秒上升到71秒,快速容错机制则基本不变,相对于原生容错机制故障恢复时间从降低9秒上升到降低19秒,验证了快速容错机制的有效性。

关键词：快照容错故障恢复检查点流计算

来源：评论

学校读者我要写书评

暂无评论

流计算系统中能效和运行时感知调度策略研究

流计算系统中能效和运行时感知调度策略研究

引用

作者：崔伊静中国地质大学(北京)

学位级别：硕士

在分布式流计算环境中,低延迟、高吞吐和低能耗是重要的优化目标,一个高效的任务调度策略是实现上述目标的关键。然而,当前的调度策略大多没有考虑任务间的依赖关系和节点间的资源差异,这导致通讯开销较大和出现资源过载。此外,集群中... 详细信息

在分布式流计算环境中,低延迟、高吞吐和低能耗是重要的优化目标,一个高效的任务调度策略是实现上述目标的关键。然而,当前的调度策略大多没有考虑任务间的依赖关系和节点间的资源差异,这导致通讯开销较大和出现资源过载。此外,集群中部分计算节点高性能地运行任务,但是其处理的数据量较少,这会产生额外的能源消耗。为了解决上述问题,本文提出了一种面向流计算系统的能效和运行时感知调度策略(Er-Stream),主要包括以下四个方面:(1)构建了流应用模型,资源模型和能耗模型,描述了任务与任务之间的网络拓扑关系和上下游实例之间的集合关系,量化了任务之间的通信,任务对数据元组的计算、输入、输出所消耗的CPU资源和计算节点的能源消耗。(2)在任务部署时,通过启发式遗传算法对任务拓扑进行划分,将拓扑中具有潜在通信的任务尽可能地部署在相同的计算节点或者附近的计算节点,以减少网络通信延迟和避免运行时频繁地触发重调度。(3)在系统运行时,通过约束和实时监测计算节点的资源负载,对过载的计算节点进行任务迁移,以避免过载节点宕机;通过实时评估运行在集群中流应用拓扑的状态,结合运行感知算法生成的新调度方案,以实现在线调整任务的部署位置,在这一过程中应用程序并不会发生终止。(4)针对流环境下的能耗控制问题,一方面通过对流应用拓扑的资源负载和系统的可用资源进行评估,以采用最少数量的计算节点来运行流应用程序;另一方面通过模型化计算节点的资源消耗和能源消耗之间的关系,以动态地调整部分节点的CPU频率来降低集群能源消耗。最后,将提出的Er-Stream集成到Storm平台,使用阿里云公开的淘宝用户行为数据集在一个分布式流计算环境下运行Word Count和Top＿N拓扑进行对比实验,实验指标主要包括:系统吞吐量,系统响应时间和系统能源消耗。实验结果表明:与主流的调度策略相比,能效和运行时感知调度策略能够使系统的平均吞吐量提升约46%,平均响应时间降低约37%和平均能源消耗节省约17%。

关键词：运行感知任务调度能源消耗流计算分布式系统

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：