作者:董春涛 李文婷 沈晴霓 吴中海大数据yarn计算框架资源管理器容量调度器公平调度器欧米伽调度器拒绝服务攻击
摘要:Hadoop2.0提出一种新的资源管理系统YARN,它可以支持多种大数据计算框架(如MapReduce、Storm、Spark等),目前已经成为腾讯、阿里等互联网公司部署大数据平台采用的主流计算框架。为此,文章在分析HadoopYARN计算框架的基本结构和工作流程的基础上,重点研究HadoopYARN中的资源调度机制,包括其资源调度器的模型与机制,及其目前已经实现的容量调度器(CapacityScheduler)和公平调度器(FairScheduler)的设计思想、工作原理和脆弱性,并探讨其下一代欧米伽调度器(OmegaScheduler)的主要设计思想。
注:因版权方要求,不能公开全文,如需全文,请咨询杂志社