作者:冯延蓬 仵博 孟宪军 何国坤 江建举大数据mapreducemarkov决策过程任务调度
摘要:针对大数据处理框架MapReduce中的任务调度问题,提出一种基于Markov决策过程(Markov Decision Process,MDP)的任务调度算法,通过状态集来描述集群中节点的负载和作业的数据本地性需求,使用状态转移函数表示调度策略对状态的影响,采用值迭代求解算法求取最优策略,实现集群中节点的最优调度.实验结果表明,该算法能够保证数据本地性的同时,减少作业响应时间,提高系统综合性能.
注:因版权方要求,不能公开全文,如需全文,请咨询杂志社
《深圳职业技术学院学报》(CN:44-1572/Z)是一本有较高学术价值的大型双月刊,自创刊以来,选题新奇而不失报道广度,服务大众而不失理论高度。颇受业界和广大读者的关注和好评。 《深圳职业技术学院学报》强调创新性,突出技术性及应用性研究。根据职业院校的学科与研究特点,坚持理论联系实际,从生产、服务、管理的实际需要出发,面向国民经济主战场,重视发表那些理论密切联系实际,有重要应用价值和指导意义的文章。
杂志详情