Rotate your networks : better weight consolidation and less catastrophic forgetting
Liu, Xialei (Centre de Visió per Computador (Bellaterra, Catalunya))
Masana, Marc (Centre de Visió per Computador (Bellaterra, Catalunya))
Herranz, Luis (Centre de Visió per Computador (Bellaterra, Catalunya))
Weijer, Joost van de (Centre de Visió per Computador (Bellaterra, Catalunya))
López Peña, Antonio M. (Centre de Visió per Computador (Bellaterra, Catalunya))
Bagdanov, Andrew (Media Integration and Communication Center (Firenze))

Publicación:	Institute of Electrical and Electronics Engineers (IEEE), cop.2018
Descripción:	7 pàg.
Resumen:	In this paper we propose an approach to avoiding catastrophic forgetting in sequential task learning scenarios. Our technique is based on a network reparameterization that approximately diagonalizes the Fisher Information Matrix of the network parameters. This reparameterization takes the form of a factorized rotation of parameter space which, when used in conjunction with Elastic Weight Consolidation (which assumes a diagonal Fisher Information Matrix), leads to significantly better performance on lifelong learning of sequential tasks. Experimental results on the MNIST, CIFAR-100, CUB-200 and Stanford-40 datasets demonstrate that we significantly improve the results of standard elastic weight consolidation, and that we obtain competitive results when compared to the state-of-the-art in lifelong learning without forgetting.
Ayudas:	European Commission 6655919 European Commission 777720 Agencia Estatal de Investigación TIN2017-88709-R Agencia Estatal de Investigación TIN2016-79717-R Ministerio de Economía y Competitividad PCIN-2015-251 Agència de Gestió d'Ajuts Universitaris i de Recerca 2018/FI B1-00198
Derechos:	Tots els drets reservats.
Lengua:	Anglès
Documento:	Capítol de llibre ; recerca ; Versió acceptada per publicar
Materia:	Task analysis ; Training ; Training data ; Neural networks ; Data models ; Computer vision ; Standards
Publicado en:	2018 24th International Conference on Pattern Recognition (ICPR), 2018, p. 2262-2268, ISBN 978-1-5386-3788-3

DOI: 10.1109/ICPR.2018.8545895

Postprint 9 p, 611.7 KB

El registro aparece en las colecciones:
Libros y colecciones > Capítulos de libros