为了提高数据流频繁模式挖掘的效率,文中基于经典的数据流频繁模式挖掘算法FP-Stream和分布式并行计算原理,设计了一种分布式并行化数据流频繁模式挖掘算法—DPFP-Stream(Distributed Parallel Algorithm of Mining Frequent Pattern on...
详细信息
为了提高数据流频繁模式挖掘的效率,文中基于经典的数据流频繁模式挖掘算法FP-Stream和分布式并行计算原理,设计了一种分布式并行化数据流频繁模式挖掘算法—DPFP-Stream(Distributed Parallel Algorithm of Mining Frequent Pattern on Data Stream)。该算法将建立频繁模式树的任务分为local和global两部分,并设置了参数"当前时间";将到达的流数据平均分配到多个不同的local节点,各local节点使用FP-Growth算法产生该单位时间内本节点的候选频繁项集,并按照单位时间将候选频繁项集及其支持度计数打包发送至global节点;global节点按"当前时间"合并各local节点的中间结果并更新模式树Pattern-Tree。在分布式数据流计算平台Storm上进行的算法实现和性能测试结果表明,DPFP-Stream算法的计算效率能够随着local节点或local bolt线程的增加而提高,适用于高效挖掘数据流中的频繁模式。
为了提高SDN网络负载均衡调度的针对性和准确性,设计了SAS(Scheduling According to Stickiness)算法。该算法提出了链路粘值的概念,用链路粘值预估调度对流性能影响的大小,通过优先调度粘值低的流来减小调度对流性能的影响,达到优化调...
详细信息
为了提高SDN网络负载均衡调度的针对性和准确性,设计了SAS(Scheduling According to Stickiness)算法。该算法提出了链路粘值的概念,用链路粘值预估调度对流性能影响的大小,通过优先调度粘值低的流来减小调度对流性能的影响,达到优化调度的目的。在重路由过程中,该算法兼顾了流的QoS需求,并用近似算法进行多QoS约束的最优路径选择。基于Floodlight开源控制平台设计和实现了相应的原型系统,并根据负载均衡效果和负载均衡生成流的QoS两个测试目标,设计和实现了测试的方案。实验测试结果表明,在不同QoS需求的数据流竞争网络资源、导致网络负载偏离均衡状态的情况下,相较DLB、LABERIO机制,提出的技术方案在提高带宽利用率的同时可以兼顾分组流的QoS需求,并且可以降低对流性能的影响。
暂无评论