Uma investigação sobre ferramentas para a detecção e o reparo de flaky tests.

Abstract

Flaky tests são testes automatizados de software que possuem comportamento não deter minísticos. Esse comportamento dos flaky tests implica em diversos problemas no ciclode vida de um software, isso porque a fase do teste de software é a etapa do processode desenvolvimento, onde se busca a garantia da qualidade e confiabilidade do produtofinal. A presença de flaky tests em um conjunto de testes pode implicar na degradação daqualidade do software, além de outros impactos que são discutidos neste trabalho. Assim,o tratamento de flaky tests é de extrema importância para a Engenharia de Software. Comisso, ferramentas para detecção e reparo de flaky tests estão sendo desenvolvidas. Esteestudo busca investigar os flaky tests, buscando entender também as ferramentas paradetecção e reparo de flaky tests. Para isso, realizamos o levantamento dessas ferramentas,as quais foram estudadas, configuradas e utilizadas. Além disso, utilizamos uma dasferramentas de detecção flaky tests em conjunto com uma ferramenta de detecção detest smells, a fim de traçar uma correlação entre os temas. Discutimos a dificuldade nautilização das ferramentas, já que a grande maioria delas estão em estágios iniciais dedesenvolvimento. Por fim, constatamos a correlação entre a categoria de flaky test causadospor espera assíncrona e a categoria Sleepy Test de test smell.