| Data: |
2026 |
| Resum: |
Les xarxes neuronals s'utilitzen àmpliament en la visió per computador per a una àmplia gamma de tasques, on les xarxes s'entrenen habitualment amb conjunts de dades en una única sessió d'entrenament. No obstant això, fer que aquestes xarxes aprenguin de manera contínua és un repte, ja que en aquest paradigma els models s'han d'adaptar a noves dades d'entrenament incorporades al llarg del temps. Un aspecte crític de l'aprenentatge continu és l'oblit del coneixement anteriorment après després d'entrenar amb noves dades. Un altre desafiament per a l'entrenament de xarxes neuronals és el paradigma de l'aprenentatge federat, on les dades estan distribuïdes entre diversos clients en lloc d'una única font, la qual cosa provoca desequilibri de classes i heterogeneïtat de dades entre clients. Aquesta tesi investiga l'aprenentatge continu en un entorn sense exemples, un paradigma que prohibeix emmagatzemar dades de tasques anteriors. Explo- rem l'ús de prototips de classes per a la classificació i investiguem l'ús de la distància euclidiana assumint representacions de característiques isotròpiques. Demostrem que les distribucions de característiques de les classes no són isotrò- piques en un entorn continu a causa del dilema estabilitat-plasticitat. Discutim dues pràctiques principals d'entrenament continu: Per una banda, entrenar la xarxa en una primera tasca amb un conjunt de dades gran i congelar-la, de forma que només s'entrena la capa de classificació de forma continua en les tasques successives. Per l'altra, entrenar tota la xarxa de nou per a cada nova tasca. En el primer cas, proposem aprofitar les covariàncies de les característi- ques per tenir en compte les distribucions anisotròpiques de les noves classes en què el model no ha estat entrenat. En el segon cas, analitzem la qüestió del desplaçament semàntic a l'espai d'embedding i proposem generar mostres adversarials a partir de les dades de la nova tasca que puguin comportar-se de manera similar a les de la tasca antiga. Aquestes mostres generades són pseudo-exemples que s'utilitzen per rastrejar el moviment dels prototips de classe en l'espai d'embedding en evolució. Més enllà de la classificació d'imatges, també estudiem l'aprenentatge continu per a la recuperació d'informació, on l'objectiu és recuperar el document més similar a un document de referència dins d'un corpus gran de documents. Discutim la qüestió de la incompatibilitat que sorgeix de desar prèviament les representacions del corpus de les tasques antigues i d'utilitzar el model més recent per codificar les consultes durant la recuperació. Proposem desplaçar les representacions de les consultes a l'espai de representacions antic durant la recuperació per compensar el desplaçament de l'espai de representacions, evitant així la necessitat de re-indexar o calcular les representacions de tot el corpus cada vegada que s'actualitza el model. Per a l'aprenentatge federat, explorem l'ús d'extractors de característiques preentrenats que assoleixen un rendiment superior explotant només les distribu- cions de característiques dels clients en un entorn sense entrenament. Analitzem com el fet de compartir estadístiques de segon ordre dels clients augmenta el pressupost de comunicació i proposem estimar aquestes estadístiques de segon ordre al servidor utilitzant només estadístiques de primer ordre dels clients amb un estimador de covariància demostrablement no esbiaixat. L'enfocament proposat sense entrenament redueix dràsticament el cost de comunicació mentre aconsegueix una inicialització de classificador més estable i eficaç. |
| Resum: |
Las redes neuronales se utilizan ampliamente en la visión artificial para una amplia gama de tareas, en las que las redes suelen entrenarse con conjuntos de datos en una sola sesión de entrenamiento. Sin embargo, permitir que estas redes aprendan continuamente es un reto, ya que con el tiempo llegan nuevos datos y los modelos deben adaptarse en consecuencia. Un aspecto crítico del aprendizaje continuo es el olvido de los conocimientos adquiridos anteriormente tras el entrenamiento con nuevos datos. Otro paradigma desafiante para el entrenamiento de redes neuronales es el aprendizaje federado, en el que los datos se distribuyen entre múltiples clientes en lugar de una única fuente, lo que da lugar a un desequilibrio de clases y a una heterogeneidad de los datos entre clientes. Esta tesis investiga el aprendizaje continuo en un entorno sin ejemplos, que prohíbe almacenar datos de tareas anteriores. Exploramos el uso de prototipos de clase para la clasificación e investigamos el uso de la distancia euclidiana asumiendo representaciones isotrópicas de características. Demostramos que las distribuciones de características de las clases no son isotrópicas en un entorno continuo debido al dilema entre estabilidad y plasticidad. Analizamos dos prácticas principales de entrenamiento continuo: el entrenamiento con un conjunto de datos más grande en la primera tarea y la congelación de la red después de la primera tarea para aprender continuamente solo el clasificador, y el entrenamiento de toda la red en cada nueva tarea. En el primer caso, proponemos aprovechar las covarianzas de las características para tener en cuenta las distribuciones anisotrópicas de las nuevas clases con las que el modelo no ha sido entrenado. En el segundo caso, analizamos el problema de la deriva semántica en el espacio de incrustación y proponemos generar muestras adversarias a partir de los datos de la nueva tarea que puedan comportarse de manera similar a los datos de la tarea anterior. Estas muestras generadas son como pseudoejemplos que luego se utilizan para rastrear el movimiento de los prototipos de clase en el espacio de incrustación en evolución. Más allá de la clasificación de imágenes, también estudiamos el aprendizaje continuo para la recuperación de información, cuyo objetivo es recuperar el documento más similar a un documento de referencia dentro de un corpus grande de documentos. Analizamos el problema de incompatibilidad que surge al almacenar previamente las incrustaciones del corpus de tareas antiguas y utilizar el modelo más reciente para codificar las consultas durante la recuperación. Proponemos trasladar las incrustaciones de la consulta al espacio de incrustación antiguo durante la recuperación para compensar la deriva en el espacio de incrustación, evitando así la necesidad de reindexar o calcular las incrustaciones de todo el corpus cada vez que se actualiza el modelo. Para el aprendizaje federado, exploramos el uso de extractores de carac- terísticas preentrenados que logran un rendimiento superior al aprovechar únicamente las distribuciones de características de los clientes en un entorno sin entrenamiento. Analizamos cómo el intercambio de estadísticas de clien- tes de segundo orden aumenta la capacidad de comunicación y proponemos estimar las estadísticas de segundo orden en el servidor utilizando únicamente estadísticas de primer orden de los clientes con un estimador de covarianza demostrablemente imparcial. El enfoque sin entrenamiento propuesto reduce drásticamente el coste de comunicación, al tiempo que logra una inicialización del clasificador estable y más eficaz. |
| Resum: |
Neural networks are extensively used throughout computer vision for a wide range of tasks, where the networks are typically trained on datasets in a single training session. However, enabling these networks to learn continually is challenging as new data arrive over time and models need to adapt accordingly. A critical aspect of continual learning is forgetting of previously learned knowl- edge after learning on new data. Another challenging paradigm for training neural networks is federated learning, where the data is distributed between multiple clients instead of a single source leading to class imbalance and data heterogeneity across clients. This thesis investigates continual learning in an exemplar-free setting, which prohibits storing data from previous tasks. We explore the use of class prototypes for classification and investigate the use of Euclidean distance assuming isotropic feature representations. We demonstrate that the feature distributions of classes are not isotropic in a continual setting owing to the stability-plasticity dilemma. We discuss two major continual training practices: training on a bigger dataset in first task and freezing the network after the first task to continually learn only the classifier, and training the entire network at every new task. In the former setting, we propose to exploit the feature covariances to take into account the anisotropic distributions of the new classes which the model has not been trained on. In the latter setting, we discuss the issue of semantic drift in the embedding space and propose to generate adversarial samples from the new task data which can behave similar to the old task data. These generated samples are like pseudo-exemplars which are then used to track the movement of the class prototypes in the evolving embedding space. Beyond image classification, we also study continual learning for information retrieval where the goal is to retrieve the most related document from a large corpus given a query document. We discuss the non-compatibility issue which stems from storing the corpus embeddings of old tasks beforehand and using the latest model to encode the queries during retrieval. We propose to move the query embeddings to the old embedding space during retrieval to compensate for the drift in the embedding space, thereby avoiding the need to re-index or compute the embeddings of the entire corpus every time the model is updated. For federated learning, we explore the use of pre-trained feature extractors which achieve superior performance by only exploiting feature distributions from clients in a training-free setting. We discuss how sharing second-order client statistics increases the communication budget and propose to estimate the second-order statistics at the server using only first-order statistics from clients with a provably unbiased covariance estimator. The proposed training- free approach dramatically reduces the communication cost while achieving a stable and more effective classifier initialization. |
| Nota: |
Universitat Autònoma de Barcelona. Programa de Doctorat en Informàtica |
| Drets: |
Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la distribució, la comunicació pública de l'obra i la creació d'obres derivades, sempre i quan aquestes es distribueixin sota la mateixa llicència que regula l'obra original i es reconegui l'autoria.  |
| Llengua: |
Anglès |
| Document: |
Tesi doctoral ; Text ; Versió publicada |
| Matèria: |
Aprenentatge continu ;
Continual learning ;
Aprendizaje continuo ;
Visió per computador ;
Computer vision ;
Visión artificial ;
Aprenentatge federat ;
Federated learning ;
Aprendizaje federado ;
Tecnologies |
visitant ::
identificació
dir.
