Pose-Based Pedestrian Crossing Intention Prediction with Recurrent Graph Convolutions and Explainability-Driven Data Augmentation
García Romera, Abel
López Peña, Antonio M., dir. (Universitat Autònoma de Barcelona. Departament de Ciències de la Computació)
Universitat Autònoma de Barcelona.
Escola d'Enginyeria
Data: |
2023 |
Resum: |
This paper presents three contributions to the field of autonomous driving. Firstly, we present a Graph Neural Network designed for the pedestrian crossing intention prediction. The proposed architecture significantly outperforms the state-of-the-art methods in terms of f1-score, precision, and recall. The input consists of the skeletons of the pedestrians. It extracts features from the skeletons using a Recurrent Graph Convolutional Layer that captures both the spatial and temporal dependencies. Secondly, an explainability analysis has been performed using our implementation of Grad-Cam. Finally, based on the results of the explainability, we have proposed a data augmentation method that generates new skeletons. |
Resum: |
Aquest article presenta tres contribucions al camp de la conducció autònoma. Primer, presentem una Graph Neural Network dissenyada per a la predicció de la intenció de creuar dels vianants. L'arquitectura proposada supera significativament els mètodes actuals en termes de f1-score, precision i recall. L'entrada consisteix en els esquelets dels vianants. Extreu característiques dels esquelets mitjançant una Recurrent Graph Convolutional Layer que captura les dependències espacials i temporals. En segon lloc, s'ha realitzat una anàlisi d'explainability mitjançant la nostra implementació de Grad-Cam. Finalment, a partir dels resultats de l'explainability, hem proposat un mètode de data augmentation que genera nous esquelets. |
Drets: |
Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la comunicació pública de l'obra i la creació d'obres derivades, sempre que no sigui amb finalitats comercials i que es distribueixin sota la mateixa llicència que regula l'obra original. Cal que es reconegui l'autoria de l'obra original. |
Llengua: |
Anglès |
Titulació: |
Visió per Computador / Computer Vision [4314099] |
Pla d'estudis: |
Màster Universitari en Visió per Computador/Computer Vision [1172] |
Document: |
Treball de fi de postgrau |
Matèria: |
Advanced Driver Assistance Systems ;
Data augmentation ;
Explainability ;
Graph Neural Networks ;
Pedestrian Crossing Intention |
El registre apareix a les col·leccions:
Documents de recerca >
Treballs de recerca i projectes de final de carrera >
Enginyeria. TFM
Registre creat el 2024-05-30, darrera modificació el 2024-06-02