Detecção automática de refatorações : um estudo exploratório utilizando LLMs

Abstract

A detecção de refatorações é uma atividade fundamental para a compreensão da evolução de sistemas de software e para a manutenção da qualidade do código-fonte. Ferramentas tradicionais para esse fim, como RefDiff e RefactoringMiner, apresentam alta precisão, porém dependem fortemente de análises sintáticas e estruturais, o que pode limitar sua aplicação em cenários mais complexos ou em múltiplas linguagens de programação. Nesse contexto, o avanço recente dos Large Language Models (LLMs) tem despertado interesse na Engenharia de Software, especialmente devido à sua capacidade de interpretar informações semânticas e contextuais em código-fonte. Este trabalho investiga a viabilidade do uso de LLMs na detecção automática de operações de refatoração em nível de método. Para isso, é proposto um método baseado em prompt engineering, no qual o LLManalisa versões anterior e posterior de trechos de código-fonte e identifica refatorações do tipo Extract Method, Move Method e Rename Method. A abordagem foi avaliada sobre um conjunto de 150 operações reais extraídas de um oráculo de refatorações validadas manualmente e amplamente utilizado na literatura, empregando dois LLMs de famílias distintas, o GPT-5.4 e o Claude Haiku 4.5, e confrontando os resultados com os reportados por ferramentas consolidadas no estado da arte. Os resultados revelam perfis complementares entre os LLMs: um deles favorece a precisão (0,73) e o outro, a cobertura (recall de 0,72), enquanto a combinação de suas saídas eleva o recall de detecção a 0,77. Observou-se ainda que as falhas decorrem majoritariamente de omissão, e não de confusão de tipo, e que a maioria dos falsos positivos corresponde a transformações reais no código. Embora o desempenho permaneça abaixo do das ferramentas dedicadas, os LLMs mostram-se uma técnica complementar promissora, com a vantagem de justificar cada detecção em linguagem natural e de prescindir de parser específico por linguagem. Por fim, o trabalho discute as limitações observadas e aponta direções para investigações futuras sobre a integração de LLMs em ferramentas de apoio à manutenção de software.