Técnicas de agrupamento para bases de dados grandes.

Abstract

O crescimento do uso de aplicações, sistemas computacionais e dos usuários vem em uma enorme crescente a cada ano. Os dados gerados por todos tomam proporções gigantescas. Com isso são necessários métodos eficientes, seguros e viáveis para que estes dados possam ser salvos e, utilizados posteriormente de maneira eficaz. Neste trabalho foi realizado o estudo de técnicas de agrupamento com bases de dados grandes, com o objetivo de medir o desempenho destas técnicas e algoritmos, que usualmente são usados em dados menores. As três bases utilizadas apresentavam, respectivamente, dados obtidos de interações reais de usuários com smartphones, smartwatches e tablets. Dados de comerciais de TV de canais indianos e internacionais, tais como fluxo espectral, tempo de saída, etc. E também dados obtidos de vídeos no canal Youtube sobre jogos onde usuários discutem sobre os mesmos, tendo como atributos áudio, vídeo e termos relacionados a estes.As bases utilizadas foram obtidas no UCI Machine Learning Repository. Os resultados presentados foram validados utilizando métodos conhecidos na literatura, como o Silhouette, matrizes de afinidades e modelos estatísticos, dando maior respaldo aos dados colhidos. O estudo dessas técnicas, algoritmos e métodos, tanto de validação, descoberta do número ideal de grupos e agrupamento em si, também foi um objetivo deste trabalho. Foram realizados testes em uma plataforma de programação que é propicia para o uso de matrizes, ajudando assim na manipulação de algoritmos utilizados. Ao final do trabalho é possível constatar como o desempenho dos algoritmos apresenta resultados piores, comparados a bases menores.