Reconhecimento de sinais estáticos usando momentos invariantes e descritor HOG a partir de informação RGB-D.

Abstract

Linguagem de sinais é a forma de comunicação usada entre a comunidade surda-muda através de gestos com as mãos, movimentos do corpo e expressão facial. Para milhões de pessoas, essa é a única forma de comunicação direta entre elas. Porém o conhecimento da língua de sinais abrange em sua maior parte apenas os deficientes auditivos não havendo interesse por parte das outras pessoas em aprender a linguagem. A língua de sinais é composta por gestos que representam determinadas palavras e as letras no alfabeto para casos os quais não se sabe um gesto de uma determinada palavra ou quando simplesmente o gesto não existe. Assim esse trabalho propõe uma metodologia capaz de reconhecer gestos das mãos que representam apenas as letras, através da captura de imagens estáticas e através das técnicas usadas, obter como saída a letra corresponde ao gesto representado. A linguagem de sinais a ser reconhecida é a linguagem americana de sinais (American Sign Language, ASL) com exceção das letras “j” e “z” as quais são representadas através de gestos dinâmicos não sendo assim possível expressá-las na forma de imagens estáticas. Utiliza-se técnicas segmentação da mão que realiza o gesto para separá-la do fundo o qual está presente, técnicas de validação cruzada para criação da base de dados, classificação através do classificador SVM que utiliza um vetor de características de um descritor de HOG e momentos de Hu. A taxa média de acurácia obtida foi na faixa de 81.25%.