Avaliação de Large Language Models dentro de sistemas de recomendação de notícias.

Abstract

O uso de ferramentas modernas, como modelos de linguagem de grande escala para recomendação de notícias e ferramentas de web scraping para a coleta de informações, vêm transformando a forma como os clippings são gerados. Este trabalho traz a abordagem dessas modernizações dentro do cenário de clippings, combinando o uso de personas, Large Language Model (LLM), sistemas de recomendações e engenharia de prompt, a fim de obter um sistema de clippings que seja flexível e possa ser utilizado por parlamentares e assessores, fornecendo um panorama personalizado e sintético dos assuntos mais importantes. Para isso, foi realizada uma análise comparativa entre abordagens de prompt engineering, utilizando diferentes padrões de envio, e comparadas as versões 3B do LLaMa 3.2 e 7B do Mistral, a fim de encontrar o modelo mais eficaz para o trabalho. Contudo, as diferentes abordagens trouxeram resultados mais direcionada e precisos, especialmente na utilização da persona no prompt