Bot de Clash Royale basat en Aprenentatge per Reforç
Boudich Makran, Zakaria
Rubio Pérez, Alberto tut. (Universitat Autònoma de Barcelona. Departament de Ciències de la Computació)
Universitat Autònoma de Barcelona. Escola d'Enginyeria

Título variante:	Clash Royale Bot using Reinforcement Learning
Título variante:	Bot de Clash Royale con Aprendizaje Automático
Fecha:	2026
Resumen:	Aquest treball presenta el desenvolupament d'un agent autònom capaç de jugar a Clash Royale utilitzant tècniques de visió per computador i aprenentatge per reforç. El sistema integra detecció clàssica d'OpenCV per a elements de la interfície amb models YOLO11m per a la identificació de tropes, assolint un mAP50 de 0. 93 mitjançant una estratègia d'entrenament híbrid que combina dades sintètiques i reals. S'han implementat i comparat dos agents d'aprenentatge per reforç: Q-Learning clàssic, que discretitza l'espai d'estats en 864 configuracions, i Deep Q-Network (DQN), que utilitza una xarxa neuronal amb 158 característiques contínues. Els resultats experimentals mostren que DQN aconsegueix una taxa de victòria del 60% després de 400 episodis d'entrenament, superant significativament el 20% obtingut per Q-Learning, demostrant la superioritat de les aproximacions basades en xarxes neuronals per a aquest entorn.
Resumen:	This work presents the development of an autonomous agent capable of playing Clash Royale using computer vision and reinforcement learning techniques. The system integrates classical OpenCV detection for interface elements with YOLO11m models for troop identification, achieving a mAP50 of 0. 93 through a hybrid training strategy combining synthetic and real data. Two reinforcement learning agents have been implemented and compared: classical Q-Learning, which discretizes the state space into 864 configurations, and Deep Q-Network (DQN), which uses a neural network with 158 continuous features. Experimental results show that DQN achieves a 60% win rate after 400 training episodes, significantly outperforming the 20% obtained by Q-Learning, demonstrating the superiority of neural network-based approaches for this environment.
Resumen:	Este trabajo presenta el desarrollo de un agente autónomo capaz de jugar a Clash Royale utilizando técnicas de visión por computador y aprendizaje por refuerzo. El sistema integra detección clásica de OpenCV para elementos de la interfaz con modelos YOLO11m para la identificación de tropas, logrando un mAP50 de 0. 93 mediante una estrategia de entrenamiento híbrido que combina datos sintéticos y reales. Se han implementado y comparado dos agentes de aprendizaje por refuerzo: Q-Learning clásico, que discretiza el espacio de estados en 864 configuraciones, y Deep Q-Network (DQN), que utiliza una red neuronal con 158 características continuas. Los resultados experimentales muestran que DQN consigue una tasa de victoria del 60% tras 400 episodios de entrenamiento, superando significativamente el 20% obtenido por Q-Learning, demostrando la superioridad de las aproximaciones basadas en redes neuronales para este entorno.
Derechos:	Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la distribució, i la comunicació pública de l'obra, sempre que no sigui amb finalitats comercials, i sempre que es reconegui l'autoria de l'obra original. No es permet la creació d'obres derivades.
Lengua:	Català
Titulación:	Enginyeria Informàtica [2502441]
Plan de estudios:	Enginyeria Informàtica [958]
Documento:	Treball final de grau
Área temática:	Menció Computació
Materia:	Aprenentatge per reforç ; Q-Learning ; DQN ; Visió per computador ; YOLO ; Detecció d'objectes ; Jocs d'estratègia en temps real ; Clash Royale ; Agent autònom ; Reinforcement learning ; Computer vision ; Object detection ; Real-time strategy games ; Autonomous agent ; Aprendizaje por refuerzo ; Visión por computador ; Detección de objetos ; Juegos de estrategia en tiempo real ; Agente autónomo

13 p, 2.4 MB

El registro aparece en las colecciones:
Documentos de investigación > Trabajos de Fin de Grado > Escuela de Ingeniería. TFG