Please use this identifier to cite or link to this item:
http://www.monografias.ufop.br/handle/35400000/6440| Title: | Utilização de Chat Bots baseados em LLMs para automação de testes de software. |
| Authors: | Oliveira, Caio Monteiro de |
| metadata.dc.contributor.advisor: | Silva, Rodrigo Cesar Pedrosa |
| metadata.dc.contributor.referee: | Pereira, Igor Muzetti Auad, Tassio de Oliveira Silva Silva, Rodrigo Cesar Pedrosa |
| Keywords: | Testes de software Qualidade de software Automação de testes Cypress Grandes modelos de linguagem |
| Issue Date: | 2024 |
| Citation: | OLIVEIRA, Caio Monteiro de. Utilização de Chat Bots baseados em LLMs para automação de testes de software. 2024. 184 f. Monografia (Graduação em Ciência da Computação) - Monografia (Graduação em Ciência da Computação) - Instituto de Ciências Exatas e Biológicas, Universidade Federal de Ouro Preto, Ouro Preto, 2024. |
| Abstract: | A qualidade do software desempenha um papel fundamental em setores relacionados à tecnologia, sendo determinada pela capacidade de atender às necessidades dos usuários de maneira confiável e eficiente. Nesse contexto, os testes de software desempenham um papel crucial. Este estudo investiga o potencial de diversos grandes modelos de linguagem (LLM) como ferramentas valiosas para auxiliar engenheiros de software que enfrentam desafios na área de testes, uma vez que esta é uma esfera complexa. A pesquisa utiliza a ferramenta Cypress para conduzir testes automatizados, com códigos gerados por ChatGPT, Google Bard, Aria Opera, Microsoft Bing e Perplexity AI, utilizando abordagens distintas: Modelo Explícito Básico, Modelo Explícito Detalhado e Modelo Explícito BDD/Gherkin. Essas abordagens são aplicadas em dez cenários diferentes relacionados à tela de login do usuário, totalizando 150 testes (30 para cada IA). Os resultados dos experimentos indicam perspectivas promissoras, com uma taxa de eficácia de 93% para o Google Bard, 90% para Aria Opera, 87% para ChatGPT e Microsoft Bing, enquanto a Perplexity AI obteve uma taxa ligeiramente inferior de 73%. |
| metadata.dc.description.abstracten: | The quality of software plays a essential role in technology-related sectors, contingent on its ability to reliably and efficiently meet user needs. Software testing, therefore, assumes a critical function in ensuring such quality. This study explores the potential of various Large Language Models (LLMs) as valuable tools to assist software engineers facing challenges in the testing domain, given its inherent complexity. Utilizing the Cypress tool, the research conducts automated tests with codes generated by ChatGPT, Google Bard, Aria Opera, Microsoft Bing, and Perplexity AI, employing distinct approaches: Basic Explicit Model, Detailed Explicit Model, and Explicit BDD/Gherkin Model. These approaches are applied to ten different scenarios related to the user login screen, totaling 150 tests (30 for each AI). Experimental results indicate promising perspectives, with an efficacy rate of 93% for Google Bard, 90% for Aria Opera, 87% for ChatGPT and Microsoft Bing, while Perplexity AI lags slightly behind with a 73% efficacy rate. |
| URI: | http://www.monografias.ufop.br/handle/35400000/6440 |
| Appears in Collections: | Ciência da Computação |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| MONOGRAFIA_UtilizaçãoChatsBots.pdf | 2,72 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.