On offline evaluation of vision-based driving models
Codevilla Moraes, Felipe ![Identificador ORCID](/img/uab/orcid.ico)
(Centre de Visió per Computador (Bellaterra, Catalunya))
López Peña, Antonio M. ![Identificador ORCID](/img/uab/orcid.ico)
(Centre de Visió per Computador (Bellaterra, Catalunya))
Koltun, Vladlen (Intel Corporation)
Dosovitskiy, Alexey (Intel Labs)
Publicació: |
Cham, Switzerland: Springer, 2018 |
Descripció: |
17 pàg. |
Resum: |
Autonomous driving models should ideally be evaluated by deploying them on a fleet of physical vehicles in the real world. Unfortunately, this approach is not practical for the vast majority of researchers. An attractive alternative is to evaluate models offline, on a pre-collected validation dataset with ground truth annotation. In this paper, we investigate the relation between various online and offline metrics for evaluation of autonomous driving models. We find that offline prediction error is not necessarily correlated with driving quality, and two models with identical prediction error can differ dramatically in their driving performance. We show that the correlation of offline evaluation with driving quality can be significantly improved by selecting an appropriate validation dataset and suitable offline metrics. |
Ajuts: |
Agencia Estatal de Investigación TIN2017-88709-R Agència de Gestió d'Ajuts Universitaris i de Recerca 2017/FI-B1-00162
|
Drets: |
Tots els drets reservats. ![](/img/licenses/InC.ico) |
Llengua: |
Anglès |
Col·lecció: |
Lecture Notes in Computer Science book series (LNCS) ; 11219 |
Document: |
Capítol de llibre ; recerca ; Versió acceptada per publicar |
Matèria: |
Autonomous driving ;
Deep learning |
Publicat a: |
Computer Vision - ECCV 2018, 2018, p. 246-262, ISBN 978-3-030-01267-0 |
DOI: 10.1007/978-3-030-01267-0_15
El registre apareix a les col·leccions:
Llibres i col·leccions >
Capítols de llibres
Registre creat el 2023-05-16, darrera modificació el 2023-06-02