Uma avaliação de usabilidade do corretor de exercícios de introdução à programação opCoders Judge.

Abstract

Com o crescente avanço tecnológico, ferramentas online com foco educativo se tornaram aliadas no processo de ensino-aprendizagem de diversas disciplinas ao redor do mundo todo. Atualmente, para suporte ao ensino de programação introdutória na UFOP é utilizado o opCoders Judge, um sistema de correção automática de código-fonte. No entanto, é de fundamental importância entender se tal ferramenta oferece aos usuários uma interface fácil de usar e que possibilite que os mesmos concluam as suas tarefas de forma satisfatória e eficiente. Para mensurar a qualidade da interface do sistema é preciso avaliá-la a partir dos critérios de usabilidade, que tem como objetivo garantir a facilidade de uso, eficiência, efetividade e satisfação dos usuários em relação a um determinado produto. Para esse tipo de avaliação existem diversos métodos e regras para qualificar uma interface. Neste contexto, o presente trabalho tem como objetivo avaliar a usabilidade da interface do opCoders Judge. Para esta análise foram utilizados dois métodos conhecidos na literatura de Interação Humano-Computador, a avaliação por inspeção, por meio das 10 Heurísticas de Nielsen (NIELSEN, 1994c), e a avaliação por investigação, a partir da aplicação dos questionários System Usability Scale (SUS) e Self-Assessment Manikin (SAM). Por se tratar de uma pesquisa com seres humanos, o projeto referente a este trabalho foi enviado ao Comitê de Ética em Pesquisa da UFOP (CEP-UFOP) e foi aprovado. Com base na avaliação por inspeção, foi possível identificar problemas graves de usabilidade na interface da ferramenta. Dessa forma, optou-se por realizar as correções dos problemas encontrados através da construção de um protótipo de alta fidelidade e, a partir dele, realizar os testes com os usuários. Com o objetivo de avaliar se a interface proposta permitiria uma boa experiência de uso. Os resultados mostraram que o protótipo proposto apresenta uma boa usabilidade, obtendo 86,02 pontos no SUS. Resultado que, segundo BROOKE et al. (1996) classifica uma interface como excelente. Além disso, o resultado do questionário SAM também apresentou uma avaliação positiva nas três dimensões avaliadas (satisfação, motivação e sentimento de controle). Assim, com base nessas avaliações foram propostas alterações a serem feitas na interface do opCoders Judge, com o objetivo de garantir a boa usabilidade da interface e contribuir ainda mais no processo de ensino-aprendizagem de programação.