Aprendizado em profundidade na descrição semântica de imagens.

Abstract

A análise de imagens têm se tornado cada vez mais importante, pois mais aplicações vão surgindo conforme a necessidade e uma dessas aplicações é a descrição (legendagem) automática de imagens. Neste trabalho foram feitos experimentos com técnicas de aprendizado profundo para a descrição semântica de imagens e detecção de objetos. Os modelos de detecção de objetos escolhidos para avaliação são YOLO-9000, SSD300 e Mask R-CNN, com respectivos valores de mAP (o maior valor de cada método foi selecionado): 45,1%, 42,8% e 51,6%. Os modelos de descrição semântica de imagem avaliados utilizam detecção de objetos ou reconhecimento de objetos para o módulo de Visão Computacional e camada LSTM (LongShort Term Memory) para o módulo de Processamento de Linguagem Natural. Os modelos ResNet50-LSTM, NASNet-LSTM e Mask R-CNN - LSTM resultaram nos respectivos valores da métrica BLEU-1 para a base de dados Flickr8K: 54.94%, 52.04% e 55.08%. O estado da arte atual possui 77% de acurácia na BLEU-1 para a base de dados MS COCO.