HI,欢迎来到学术之家,发表咨询:400-888-7501  订阅咨询:400-888-7502  股权代码  102064
0

大数据处理框架中基于MDP的任务调度算法

作者:冯延蓬 仵博 孟宪军 何国坤 江建举大数据mapreducemarkov决策过程任务调度

摘要:针对大数据处理框架MapReduce中的任务调度问题,提出一种基于Markov决策过程(Markov Decision Process,MDP)的任务调度算法,通过状态集来描述集群中节点的负载和作业的数据本地性需求,使用状态转移函数表示调度策略对状态的影响,采用值迭代求解算法求取最优策略,实现集群中节点的最优调度.实验结果表明,该算法能够保证数据本地性的同时,减少作业响应时间,提高系统综合性能.

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

深圳职业技术学院学报

《深圳职业技术学院学报》(CN:44-1572/Z)是一本有较高学术价值的大型双月刊,自创刊以来,选题新奇而不失报道广度,服务大众而不失理论高度。颇受业界和广大读者的关注和好评。 《深圳职业技术学院学报》强调创新性,突出技术性及应用性研究。根据职业院校的学科与研究特点,坚持理论联系实际,从生产、服务、管理的实际需要出发,面向国民经济主战场,重视发表那些理论密切联系实际,有重要应用价值和指导意义的文章。

杂志详情