Scopus: 140 cites, Google Scholar: cites
Rotate your networks : better weight consolidation and less catastrophic forgetting
Liu, Xialei (Centre de Visió per Computador (Bellaterra, Catalunya))
Masana, Marc (Centre de Visió per Computador (Bellaterra, Catalunya))
Herranz, Luis (Centre de Visió per Computador (Bellaterra, Catalunya))
Weijer, Joost van de (Centre de Visió per Computador (Bellaterra, Catalunya))
López Peña, Antonio M. (Centre de Visió per Computador (Bellaterra, Catalunya))
Bagdanov, Andrew (Media Integration and Communication Center (Firenze))

Publicació: Institute of Electrical and Electronics Engineers (IEEE), cop.2018
Descripció: 7 pàg.
Resum: In this paper we propose an approach to avoiding catastrophic forgetting in sequential task learning scenarios. Our technique is based on a network reparameterization that approximately diagonalizes the Fisher Information Matrix of the network parameters. This reparameterization takes the form of a factorized rotation of parameter space which, when used in conjunction with Elastic Weight Consolidation (which assumes a diagonal Fisher Information Matrix), leads to significantly better performance on lifelong learning of sequential tasks. Experimental results on the MNIST, CIFAR-100, CUB-200 and Stanford-40 datasets demonstrate that we significantly improve the results of standard elastic weight consolidation, and that we obtain competitive results when compared to the state-of-the-art in lifelong learning without forgetting.
Ajuts: European Commission 6655919
European Commission 777720
Agencia Estatal de Investigación TIN2017-88709-R
Agencia Estatal de Investigación TIN2016-79717-R
Ministerio de Economía y Competitividad PCIN-2015-251
Agència de Gestió d'Ajuts Universitaris i de Recerca 2018/FI B1-00198
Drets: Tots els drets reservats.
Llengua: Anglès
Document: Capítol de llibre ; recerca ; Versió acceptada per publicar
Matèria: Task analysis ; Training ; Training data ; Neural networks ; Data models ; Computer vision ; Standards
Publicat a: 2018 24th International Conference on Pattern Recognition (ICPR), 2018, p. 2262-2268, ISBN 978-1-5386-3788-3

DOI: 10.1109/ICPR.2018.8545895

9 p, 611.7 KB

El registre apareix a les col·leccions:
Llibres i col·leccions > Capítols de llibres

 Registre creat el 2023-05-16, darrera modificació el 2023-06-09

   Favorit i Compartir