作者：秦军; 冯亮亮; 孙蒙hadoop集群mapreduce节点性能任务调度负载均衡
摘要：异构Hadoop环境中，每个节点的处理能力各不相同，且集群中的节点会不断增加和删除，随着作业量的增大，负载倾斜会越来越明显。显然，负载均衡也成为影响Hadoop集群性能的重要因素之一。针对异构Hadoop环境中MapRe-duce任务调度，提出了一种新的负载均衡算法。该算法充分利用节点性能和当前的计算资源，根据集群负载平衡度量值进行任务分配，将任务分配给适合的节点，使集群负载逐渐趋于平衡，以提高集群节点利用率。由于Hadoop集群中各节点通过网络连接，以节省网络传输代价，因此在负载均衡调度时，根据数据分布特点，优先考虑数据的本地性，以缩短任务执行时间。仿真实验结果表明，所提出的负载均衡算法能明显改善系统性能，有效缩短MapReduce作业执行时间。
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
