作者:荆建梅; 高文; 于铄航hadoop异构性作业调度资源感知负载均衡
摘要:目前,大多数基于云的应用都需要大规模的数据处理能力,而待处理数据的增长速度远远超过可用计算能力的增长速度,Hadoop被用来通过商用硬件实现大型集群的分布式处理。在大型集群中,工作负载一般是异构性的,这主要是指在大型集群上同时运行I/O密集型,CPU密集型或网络密集型的作业,而这些作业又有不同类型的资源需求。Hadoop的默认作业调度算法是基于FIFO实现的,而它并没有考虑到不同类型作业的并行化调度问题。
注:因版权方要求,不能公开全文,如需全文,请咨询杂志社