Short-term early action prediction for human-robot collaboration : a deep learning attention-based approach.

Abstract

A colaboração entre humanos e robôs não é mais um cenário de filme. Devido ao aumento do número de ambientes de trabalho em que esse tipo de interação ocorre, os robôs devem ser capazes, assim como os humanos, de fazer previsões sobre seus parceiros para que possam trabalhar juntos. Este estudo pesquisou sistematicamente na literatura os modelos de previsão de ação antecipada baseados em mecanismos de atenção, oferecendo uma ampla visão geral do estado da arte. Foi encontrado apenas um modelo adequado com essas características, o TemPr, que representa o estado da arte na área de previsão de ação antecipada. Também foi proposta uma metodologia para analisar o modelo encontrado para a detecção prévia de ações no contexto da colaboração entre humanos e robôs em ambientes industriais para contribuir com essa área de pesquisa. O conjunto de dados InHARD é usado para treinar os modelos, o Optuna é usado para ajustar automaticamente os hiperparâmetros do modelo e o MLflow é usado para rastrear os hiperparâmetros e analisar os resultados de diferentes modelos. O modelo TemPr é amplamente analisado para diferentes proporções de observação de vídeo. Os experimentos são executados em uma máquina com uma GPU disponível em um contêiner Docker com uma imagem de base disponível no Nvidia GPU Container. O modelo final alcançou uma precisão de 59% e 55%, e uma pontuação ROC AUC macro-média OvR de 93% e 92%, para uma taxa de observação de 1,0 e 0,3, respectivamente. Assim, o treinamento da rede foi bem-sucedido e obteve ótimos resultados mesmo quando apenas uma pequena parte da ação.