基于Mesos的分布式参数优化调度策略及系统设计

作者：李铄; 陆忠华; 孙永泽apachemesos资源调度参数优化分布式系统分布式计算

摘要：本文针对分布式参数优化系统的调度策略进行研究,并实现了一个基于Mesos的分布式参数优化系统。利用Mesos的资源接口,把多种常见的参数优化算法和任务调度封装为一个可以在Mesos上运行的框架软件。并针对Mesos的两级调度机制,提出了一种对混合部署集群上多作业竞争环境下的分布式参数优化系统的调度优化策略。本文设计了多组实验,对框架软件的资源调度策略与FIFO调度策略进行对比测试,可以满足多租户在混合部署场景下的使用。降低了在集群环境下进行深度学习等常见场景下的分布式参数优化的难度,在多任务竞争时提高资源使用效率。

注：因版权方要求，不能公开全文，如需全文，请咨询杂志社