Detecção de textos gerados por LLMs em português.

Abstract

Com o aumento gradativo da disponibilização e uso de modelos de Inteligência Artificial (IA) generativa, levanta-se a preocupação com os perigos do seu mau uso. Apesar de terem sido desenvolvidos para atuar como ferramentas que facilitam o cotidiano popular, problemas como plágio e desinformação acabam escalando em razão do uso indevido ou mal-intencionado desses modelos. Por serem recentes e extremamente poderosos, ainda há certa dificuldade em identificar textos gerados pelos chamados Large Language Models (LLMs). Com isso em mente, propõe-se um dataset com exemplos de textos humanos, artificiais e textos originalmente humanos porém reescritos por IA. Além disso, foram propostos um conjunto de cinco algoritmos classificadores baseados nos LLMs da família Llama e BERT e uma Recurrent Neural Network, baseada em camadas LSTM bi-direcionais. Os classificadores atingiram resultados positivos, alcançando acurácias de até 98,18% e 97,7%, nas classificações de duas (escrito e não escrito por uma LLM) e três classes (escrito, não escrito e reescrito por uma LLM), respectivamente, no conjunto de teste proposto.