Modelos de linguagem de grande escala : estudo de caso e perspectiva.

Abstract

Este trabalho investiga os modelos de linguagem de larga escala (LLMs), explorando seus fundamentos, evolução, aplicações e limitações. Partindo de uma revisão histórica da inteligência artificial e do processamento de linguagem natural, o estudo destaca o papel central da arquitetura Transformer (vaswani et al., 2017), que, com seus mecanismos de autoatenção, superou as limitações de modelos anteriores baseados em RNNs e CNNs. Examina-se ainda a contribuição seminal de modelos pré-treinados como GPT-1 (radford et al., 2018), BERT (devlin et al., 2019) e GPT-3 (brown et al., 2020), que estabeleceram o paradigma do pré-treinamento seguido de ajuste fino, potencializando a generalização. A discussão também abrange o surgimento dos modelos de fundação, notáveis por sua esca- labilidade e adaptabilidade, e os fenômenos de aprendizado em contexto e de capacidades emergentes (bommasani et al., 2021). Metodologicamente, o estudo instanciou o modelo Mistral-7B-v0.3, treinando-o com a técnica de otimização QLoRA. A base de dados, composta por 26 artigos científicos, foi convertida em 873 pares de instrução–resposta. O treinamento, realizado em uma GPU NVIDIA RTX A4000 (16 GB de VRAM), ajustou aproximadamente 0,09% dos parâmetros do modelo, culminando em uma perda final média de 1,72 após 7 horas. A avaliação combinou análise quantitativa (função de perda) e qualitativa (comparação de respostas a seis questões de referência). Os resultados indicaram uma certa melhoria em cinco questões, com ganhos em precisão, coerência e citação de referências acadêmicas, enquanto uma questão apresentou piora, evidenciando a dependência crítica da qualidade dos dados de treinamento. Conclui-se que os LLMs constituem uma infraestrutura tecnológica central com potencial para transformar setores como saúde, finanças, direito e educação, democratizando o acesso a ferramentas avançadas. No entanto, persistem desafios urgentes relacionados a vieses, custo computacional, governança e alinhamento ético (ouyang et al., 2022). Este trabalho demonstra a viabilidade de pesquisas experimentais com recursos limitados, evidenciando que é possível realizar treinamento especializado de LLMs em ambientes acadêmicos e obter avanços qualitativos relevantes