Learning Orchestra AutoML : Pycaret and Autokeras operated using a RESTful API and modeled as atomic pipeline steps.

Abstract

A atividade de um cientista de dados normalmente funciona em um processo iterativo composto pelas seguintes atividades: coleta de dados disponíveis, realização de análise exploratória de dados, limpeza/enriquecimento desses dados, construção de modelos, validação de suas previsões e implantação de resultados. As ferramentas de Automated Machine Learning (AutoML), como Katib, Pycaret, AutoKeras e ML-JAR, são utilizadas hoje em dia para simplificar ou mesmo eliminar algumas das atividades citadas anteriormente. Consequentemente, o cientista de dados pode se concentrar em validações e atividades de ajuste de parâmetros, por exemplo. Infelizmente, hoje em dia não existe uma API com suporte para múltiplas ferramentas AutoML. As mais modernas ferramentas de pipeline Machine Learning (ML), como TFX, Spark, Kubeflow ou Ray, são compatíveis com muitos ML-Toolkits, como TensorFlow, Scikit-learn, Pytorch, MXNet e outros, mas nenhum deles oferece suporte a diferentes ferramentas AutoML. Essa lacuna pode aumentar o custo de desenvolvimento e implantação de pipelines ML. Outro aspecto importante nas ferramentas de pipeline ML existentes, é sua incapacidade de executar etapas de pipeline separadas (transformação de dados, exploração, treinamento, ajuste ou qualquer outra etapa). Eles executam todo o pipeline e, muitas vezes, utilizando somente a memória RAM. Esse comportamento limita tanto a utilização da parada antecipada (Early Stopping) de etapas do pipeline quanto a reexecução de etapas do pipeline armazenadas em volumes de um ambiente de nuvem, o que significa que tais etapas não foram armazenados apenas na RAM. Este trabalho apresenta a primeira API para operar as ferramentas Pycaret e Autokeras AutoML. O cientista de dados agora pode desenvolver seus pipelines de dados usando notebooks e várias chamadas de API RESTful interoperáveis para serviços AutoML. Este trabalho também resolve todo o problema de execução do pipeline, que também é executado utilizando apenas a memória RAM por Pycaret e AutoKeras. Agora, etapas únicas do pipeline AutoML podem ser executadas separadamente em diferentes contêineres e salvas em um volume específico do cluster. Para implementar tais inovações e executar as etapas restantes do pipeline ML, como coletar dados, explorar, limpar e enriquecer dados, bem como o salvamento automático das saídas das etapas mencionadas anteriormente, estendemos o núcleo da ferramenta Learning Orchestra services, permitindo a execução de serviços AutoML. Learning Orchestra é uma ferramenta de pipeline ML com suporte para as ferramentas Spark MLlib, Scikit-learn e TensorFlow ML. Avaliamos o impacto dos serviços de API apresentados em relação à execução das ferramentas AutoML diretamente de notebooks, como Zeppelin e Jupyter. Os resultados demonstraram quase nenhum impacto em termos de tempo de execução do serviço de nossa API e um aumento médio de 250MB na utilização de RAM quando utilizado nossa solução distribuída.