Analysis and Implementation of Tabular and Approximate Methods in Videogame Environments
García Castro, Daniel
Casas Roma, Jordi, tut. (Universitat Autònoma de Barcelona. Departament d'Enginyeria de la Informació i de les Comunicacions)
Universitat Autònoma de Barcelona. Escola d'Enginyeria

Títol variant:	Anàlisi i Implementació de Mètodes Tabulars i Aproximats en Entorns de Videojocs
Títol variant:	Análisis e Implementación de Métodos Tabulares y Aproximados en Entornos de Videojuegos
Data:	2025
Resum:	Aquest projecte consisteix en estudiar Reinforcement Learning (RL) mitjançant la implementació i anàlisi de diversos algorismes en entorns de videojocs. El projecte està dividit en dos blocs. El primer es sobre mètodes Tabulars, on s'implementen els algorismes Value-Iteration (Programació Dinàmica), First Visit Control (Monte Carlo) i Q-Learning (TD Learning). Aquests mètodes són implementats a l'entorn Frozen Lake i els seus resultats són analitzats i comparats. El segon bloc és sobre mètodes Aproximats, aquests són una combinació entre RL i Deep Learning. Els mètodes implementats són Deep Q-Learning i les seves variacions, els quals utilitzen Xarxes Neuronals Convolucionals per interpretar imatges. Aquests mètodes s'implementen al videojoc d'Atari Space Invaders. Els seus resultats s'analitzen i es comparen per determinar com afecta cada variació a l'entrenament i als resultats.
Resum:	Este proyecto consiste en estudiar Reinforcement Learning (RL) mediante la implementación y análisis de diferentes algoritmos en entornos de videojuegos. El proyecto está dividido en dos bloques. El primero es sobre métodos Tabulares, donde se implementan los algoritmos Value-Iteration (Programación Dinámica), First Visit Control (Monte Carlo) y Q-Learning (TD Learning). Estos métodos son implementados en el entorno Frozen Lake y sus resultados son analizados y comparados. El segundo bloque es sobre métodos aproximados, estos métodos son una combinación entre RL y Deep Learning. Los métodos implementados son Deep Q-Learning y sus variantes, los cuales utilizan Redes Neuronales Convolucionales para interpretar imágenes. Estos métodos se implementan en el videojuego de Atari Space Invaders. Sus resultados se analizan y se comparan para determinar como afecta cada variante al entrenamiento y a los resultados.
Resum:	This project consists in studying Reinforcement Learning (RL) through the implementation and analysis of different kinds of algorithms in videogame environments. The project is divided in two blocks. The first is about Tabular methods, where there are implemented the methods Value-Iteration (Dynamic Programming), First Visit Control (Monte Carlo) and Q-Learning (TD Learning). These three are implemented in the Frozen Lake environment and their results are analyzed and compared. The second block is about Approximate methods, which are a combination of RL and Deep Learning. The methods implemented are Deep Q-Learning and its variations, which utilize Convolutional Neural Networks to be able to interpret images. These are implemented in the Atari game Space Invaders. Their results are analyzed and compared to see how each variation affects the training process and the results obtained.
Drets:	Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la distribució, la comunicació pública de l'obra i la creació d'obres derivades, sempre que no sigui amb finalitats comercials, i sempre que es reconegui l'autoria de l'obra original.
Llengua:	Anglès
Titulació:	Enginyeria Informàtica [2502441]
Pla d'estudis:	Enginyeria Informàtica [958]
Document:	Treball final de grau ; Text
Àrea temàtica:	Menció Computació
Matèria:	Reinforcement Learning ; Mètodes Tabulars ; Mètodes Aproximats ; Programació Dinàmica ; Value-Iteration ; Monte Carlo ; Temporal Difference Learning ; Q-Learning ; Xarxa Neuronal ; Deep Q-Network ; Métodos Tabulares ; Métodos Aproximados ; Programación Dinámica ; Red Neuronal ; Tabular Methods ; Approximate Methods ; Dynamic Programming ; Neural Network

13 p, 1.1 MB

El registre apareix a les col·leccions:
Documents de recerca > Treballs de Fi de Grau > Escola d'Enginyeria. TFG