Learning orchestra : building machine learning workflows on scalable containers.

Abstract

Esforços interessantes foram realizados nas últimas duas décadas para construir ferramentas que facilitam e agilizam o desenvolvimento de workflows de Machine Learning (ML) compostos de vários pipelines. De scripts Unix à componentes de ML desenhados para Web e soluções para automatizar e orquestrar etapas de ML e Data Mining (DM), nós tentamos muitos serviços de alto nível para o processo iterativo do cientista de dados. De outro lado, nós temos os serviços de baixo nível sendo investigados com os mesmos proprósitos, como ambientes em nuvem, orquestração de contêineres, tolerância a falhas, etc. Normalmente, scripts são produzidos para simplificar as operações dos serviços de baixo nível. Infelizmente, nenhuma solução existente coloca ambos os serviços - alto e baixo níveis - na mesma instalação. Além disso, nenhum deles possibilita a utilização de diferentes ferramenta durante a construção de um único workflow. Tais soluções não são, portanto, flexíveis o suficientes para permitir uma ferramenta, como o Scikit-Learn, construir um pipeline, e outras ferramentas de ML, como TensorFlow ou Spark MLlib, construírem outros pipelines. Uma Application Programming Interface (API) Representational State Transfer (REST) interoperável é muito útil para expor esses serviços, mas apenas algumas alternativas atendem esse requisito. Para suprir tais limitações, nós apresentamos um sistema open source denominado Learning Orchestra, uma solução para construir workflows complexos usando diferentes ferramentas de ML de forma transparente. Com uma única e interoperável API é possível construir fluxos analíticos que podem ser instalados em ambientes com contêineres em nuvens computacionais capazes de escalar e tolerar falhas. Experimentos demonstraram que nosso sistema é uma alternativa promissora e inovadora para o problema de simplificar e agilizar o processo iterativo de ML.