基于Hadoop YARN的TensorFlow GPU集群的调度扩展

作者：陆忠华; 孙琨; 王彦棡; 王珏; 刘芳hadoopyarntensorflow调度深度学习gpu

摘要：本文研究并实现了大数据平台Hadoop YARN与深度学习框架Tensor Flow的结合。通过对DRF算法的扩展,使得Hadoop YARN在原先支持CPU和内存的基础上,可以对GPU资源进行管理和调度。通过YARN的应用接口,把Tensor Flow封装成了YARN的应用程序之一,把原来的分布式程序在多节点手动分发启动改为了在单节点自动分发启动,单机版不变。本文设计了多组实验对YARN＋Tensor Flow进行了多方位的测试,实验结果表明YARN和Tensor Flow相结合相比原生Tensor Flow程序具有相似的加速比,可以满足单系统多用户对GPU资源的使用,有效提高GPU资源的使用效率和编程人员的工作效率,增加系统的复用率。

注：因版权方要求，不能公开全文，如需全文，请咨询杂志社