作者：刘帅酝负载均衡异构集群任务调度hadoop框架lbahe算法
摘要：Hadoop是大数据处理的基础框架,负载均衡策略的优劣对Hadoop集群的处理性能有着非常重要影响。现有调度算法的一个基本假设是每个节点的性能相近,因此分配任务时仅需考虑节点的空余槽数即可。但在异构Hadoop集群中,各个节点在CPU、磁盘、内存等方面都存在差异,标准Hadoop调度算法容易发生不合理调度,导致负载不均衡,从而影响整个集群的性能。提出了一种新的负载均衡算法LBAHE (Load Balancing Algorithm Based on Heterogeneous Environment),将CPU、磁盘、内存等作为调整因子加入到节点分配任务调度中,实现在异构集群下的优化调度。仿真实验结果表明,算法能够实现更有效的负载均衡,有效提高Hadoop在异构环境下的执行性能。
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
