Otimização multiobjetivo baseada em modelos substitutos para compressão de redes neurais artificiais.

Abstract

Nos últimos anos surgiram novos trabalhos visando a redução do custo computacional das redes neurais artificiais, mantendo a eficácia dos modelos. A redução deste custo pode permitir a aplicação de redes neurais artificiais em sistemas com restrições de hardware ou a redução de latência entre serviços da nuvem. Entre os métodos criados, existem aqueles que buscam reduzir o custo de uma rede existente, como a poda de parâmetros ou quantização de pesos. Estes métodos transformam a arquitetura de uma rede, de forma a torná-la mais leve. Entretanto, estes métodos requerem configurações e hiper-parâmetros próprios para serem aplicados, configurações estas que normalmente são pouco discutidas na literatura. Aproveitando desta consideração, propõe-se neste trabalho uma metodologia para a otimização da escolha dos parâmetros envolvidos na compressão de uma rede neural artificial através de modelos substitutos. Esta técnica de otimização já se mostrou promissora em outros problemas semelhantes e pode ser uma alternativa interessante para a análise do problema de compressão.