离散粒子群优化算法实现MapReduce负载平衡

作     者：李安颖 陈群 宋荷 LI Anying;CHEN Qun;SONG He

作者机构：西北工业大学计算机学院陕西西安710072 

出 版 物：《自动化仪表》 (Process Automation Instrumentation)

年 卷 期：2018年第39卷第12期

页      面：56-59页

学科分类：08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：分布式计算 离散粒子群优化算法 数据倾斜 数据平衡 分区 

摘      要：MapReduce是Hadoop的核心模型之一,广泛应用于大数据处理。MapReduce模型将计算分为Map和Reduce两个处理阶段。但由于其自身的分区机制,导致在Reduce阶段处理数据时,会出现负载不平衡的数据倾斜问题。为了解决数据倾斜问题,提出利用离散粒子群算法解决Reduce阶段数据负载平衡问题。将数据分区策略与粒子群算法相结合,提高系统的稳定性。通过设置使数据分区均衡的目标函数,利用离散粒子群算法求解目标函数。试验结果证明,当设置不同数量的Reduce时,离散粒子群分区方式的运行时间均为最短,可有效解决数据分区的不平衡问题,并大大提升系统的计算效率。