Avaliação de métodos de transferência de aprendizado aplicados a problemas de processamento de linguagem natural em textos da língua portuguesa.

Abstract

Este trabalho tem como objetivo avaliar estratégias baseadas em transferência de aprendizado e fine-tuning, para reduzir a quantidade de exemplos necessários para treinar modelos eficazes para análise de sentimentos na língua portuguesa, além de tentar entender o que é transferido entre os modelos. Os modelos avaliados são baseados em abordagens de pré-treinamento de modelos de língua em um córpus grande e genérico e o acoplamento de classificadores específicos a esses modelos de língua pré-treinados. Avaliando os modelos baseados em transferência de aprendizado, foi possível obter um F1 de 97,65% para a coleção Mercado Livre, 89,30% para a coleção Buscapé e 84,02% para a coleção de (Souza et al., 2016). Também foi a avaliado a performance dos modelos quanto a redução dos conjuntos de dados, obtendo 97,50% de F1 utilizando cerca de 45% da coleção Mercado Livre e 88,29% de F1 usando cerca de 71% da coleção Buscapé. Foi realizada uma análise das camadas interna dos modelos baseados em atenção, em que é possível observar que alguns padrões que contribuem para análise de sentimento são herdados do modelo sem fine-tuninig.