Rotate your networks : better weight consolidation and less catastrophic forgetting
Liu, Xialei (Centre de Visió per Computador)
Masana, Marc (Centre de Visió per Computador)
Herranz, Luis (Centre de Visió per Computador)
Weijer, Joost van de (Centre de Visió per Computador)
López Peña, Antonio M. (Centre de Visió per Computador)
Bagdanov, Andrew (Media Integration and Communication Center (Firenze))

Publicació:	Institute of Electrical and Electronics Engineers (IEEE), cop.2018
Descripció:	7 pàg.
Resum:	In this paper we propose an approach to avoiding catastrophic forgetting in sequential task learning scenarios. Our technique is based on a network reparameterization that approximately diagonalizes the Fisher Information Matrix of the network parameters. This reparameterization takes the form of a factorized rotation of parameter space which, when used in conjunction with Elastic Weight Consolidation (which assumes a diagonal Fisher Information Matrix), leads to significantly better performance on lifelong learning of sequential tasks. Experimental results on the MNIST, CIFAR-100, CUB-200 and Stanford-40 datasets demonstrate that we significantly improve the results of standard elastic weight consolidation, and that we obtain competitive results when compared to the state-of-the-art in lifelong learning without forgetting.
Ajuts:	European Commission 6655919 European Commission 777720 Agencia Estatal de Investigación TIN2017-88709-R Agencia Estatal de Investigación TIN2016-79717-R Ministerio de Economía y Competitividad PCIN-2015-251 Agència de Gestió d'Ajuts Universitaris i de Recerca 2018/FIB1-00198
Drets:	Aquest material està protegit per drets d'autor i/o drets afins. Podeu utilitzar aquest material en funció del que permet la legislació de drets d'autor i drets afins d'aplicació al vostre cas. Per a d'altres usos heu d'obtenir permís del(s) titular(s) de drets.
Llengua:	Anglès
Document:	Capítol de llibre ; recerca ; Versió acceptada per publicar
Matèria:	Task analysis ; Training ; Training data ; Neural networks ; Data models ; Computer vision ; Standards
Publicat a:	2018 24th International Conference on Pattern Recognition (ICPR), 2018, p. 2262-2268, ISBN 978-1-5386-3788-3

DOI: 10.1109/ICPR.2018.8545895

Postprint 9 p, 611.7 KB

El registre apareix a les col·leccions:
Llibres i col·leccions > Capítols de llibres