Pose-Based Pedestrian Crossing Intention Prediction with Recurrent Graph Convolutions and Explainability-Driven Data Augmentation
García Romera, Abel
López Peña, Antonio M., dir. (Universitat Autònoma de Barcelona. Departament de Ciències de la Computació)
Universitat Autònoma de Barcelona. Escola d'Enginyeria

Date:	2023
Abstract:	This paper presents three contributions to the field of autonomous driving. Firstly, we present a Graph Neural Network designed for the pedestrian crossing intention prediction. The proposed architecture significantly outperforms the state-of-the-art methods in terms of f1-score, precision, and recall. The input consists of the skeletons of the pedestrians. It extracts features from the skeletons using a Recurrent Graph Convolutional Layer that captures both the spatial and temporal dependencies. Secondly, an explainability analysis has been performed using our implementation of Grad-Cam. Finally, based on the results of the explainability, we have proposed a data augmentation method that generates new skeletons.
Abstract:	Aquest article presenta tres contribucions al camp de la conducció autònoma. Primer, presentem una Graph Neural Network dissenyada per a la predicció de la intenció de creuar dels vianants. L'arquitectura proposada supera significativament els mètodes actuals en termes de f1-score, precision i recall. L'entrada consisteix en els esquelets dels vianants. Extreu característiques dels esquelets mitjançant una Recurrent Graph Convolutional Layer que captura les dependències espacials i temporals. En segon lloc, s'ha realitzat una anàlisi d'explainability mitjançant la nostra implementació de Grad-Cam. Finalment, a partir dels resultats de l'explainability, hem proposat un mètode de data augmentation que genera nous esquelets.
Rights:	Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la comunicació pública de l'obra i la creació d'obres derivades, sempre que no sigui amb finalitats comercials i que es distribueixin sota la mateixa llicència que regula l'obra original. Cal que es reconegui l'autoria de l'obra original.
Language:	Anglès
Studies:	Visió per Computador / Computer Vision [4314099]
Study plan:	Màster Universitari en Visió per Computador/Computer Vision [1172]
Document:	Treball de fi de postgrau
Subject:	Advanced Driver Assistance Systems ; Data augmentation ; Explainability ; Graph Neural Networks ; Pedestrian Crossing Intention

31 p, 12.1 MB

The record appears in these collections:
Research literature > Dissertations > Engineering. MT