HI,欢迎来到学术之家,发表咨询:400-888-7501  订阅咨询:400-888-7502  股权代码  102064
0

Hadoop YARN大数据计算框架及其资源调度机制研究

作者:董春涛 李文婷 沈晴霓 吴中海大数据yarn计算框架资源管理器容量调度器公平调度器欧米伽调度器拒绝服务攻击

摘要:Hadoop2.0提出一种新的资源管理系统YARN,它可以支持多种大数据计算框架(如MapReduce、Storm、Spark等),目前已经成为腾讯、阿里等互联网公司部署大数据平台采用的主流计算框架。为此,文章在分析HadoopYARN计算框架的基本结构和工作流程的基础上,重点研究HadoopYARN中的资源调度机制,包括其资源调度器的模型与机制,及其目前已经实现的容量调度器(CapacityScheduler)和公平调度器(FairScheduler)的设计思想、工作原理和脆弱性,并探讨其下一代欧米伽调度器(OmegaScheduler)的主要设计思想。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

信息通信技术

《信息通信技术》(CN:11-5650/TN)是一本有较高学术价值的大型双月刊,自创刊以来,选题新奇而不失报道广度,服务大众而不失理论高度。颇受业界和广大读者的关注和好评。 《信息通信技术》办刊宗旨是:“贯彻落实科学发展观,反映国内外信息通信技术最新研究成果,提供信息通信技术交流平台,推广先进信息通信业务和应用,为我国建设信息社会和创新型国家服务”。

杂志详情