Aplicação de técnicas de reconhecimento de imagens na classificação de sinais em LIBRAS (linguagem brasileira de sinais) para tradução em texto.

Abstract

O reconhecimento de sinais em Libras é um processo que apresenta grandes desafios, não somente com relação ao problema da classificação de imagens e vídeos, mas como uma lingua de natureza visual-gestual, apresentando os mesmos dificuldades de problemas envolvendo linguagem natural . Neste contexto, temos ainda agregado o fato que a lingua brasileira de sinais possuir poucos estudos de pesquisa. Este trabalho possui como proposta avaliar modelos de classificação de vídeos que possam ser aplicadas no processo de classificação de sinais em libras e determinar o modelo que apresente melhor performance. Foi utilizada uma base de dados com vinte sinais de libras, gravada por 12 sinalizadores 5 vezes cada para o processo de treinamento. Por fim avaliamos os principais modelos de extração de características utilizando modelos pré-treinados e uma técnica de Deep Learning para classificar os sinais baseado nos acertos de predição realizada por uma rede Neural Convulacional. Foi avaliada os modelos CNN+RNN e Transformers, onde foi possível comparar os resultados alçados entre eles, de forma a validar o modelo com melhor resultados na base treinada.