Desenvolupament d'un Sistema de Reconeixement de Llengua de Signes
Comes Tello, Javier
Sánchez Albaladejo, Gemma, tut. (Universitat Autònoma de Barcelona. Departament d'Enginyeria de la Informació i de les Comunicacions)
Universitat Autònoma de Barcelona. Escola d'Enginyeria

Títol variant:	Desarrollo de un Sistema de Reconocimiento de Lenguaje de Signos Mediante Visión por Computador y Aprendizaje Automático
Títol variant:	Development of a Sign Language Recognition System Using Computer Vision and Machine Learning
Data:	2025
Resum:	Aquest projecte té com a objectiu desenvolupar un sistema de reconeixement de llengua de signes en temps real mitjançant visió artificial i tècniques d'aprenentatge profund. El sistema és capaç d'identificar i traduir gestos de la Llengua de Signes Americana (ASL) a text amb l'objectiu de millorar la comunicació entre persones sordes i oients. La solució utilitza una arquitectura Inflated 3D ConvNet (I3D) preentrenada a ImageNet i optimitzada per classificar els signes utilitzant el conjunt de dades WLASL. El model processa entrades de vídeo RGB i combina prediccions a nivell de vídeo i de fotograma per millorar la precisió del reconeixement. Tot i que encara limitat per la variabilitat del conjunt de dades i el desequilibri de classes, el model va aconseguir ser capaç de detectar lletres, paraules i frases curtes en temps real.
Resum:	Este proyecto tiene como objetivo desarrollar un sistema de reconocimiento de lenguaje de signos en tiempo real mediante visión artificial y técnicas de profundo aprendizaje. El sistema es capaz de identificar y traducir gestos de la Lengua de Signos Americana (ASL) a texto con el objetivo de mejorar la comunicación entre personas sordas y oyentes. La solución utiliza una arquitectura Inflated 3D ConvNet (I3D) preentrenada en ImageNet y optimizada para clasificar los signos utilizando el conjunto de datos WLASL. El modelo procesa entradas de vídeo RGB y combina predicciones a nivel de vídeo y de fotograma para mejorar la precisión del reconocimiento. Aunque todavía limitado por la variabilidad del conjunto de datos y el desequilibrio de clases, el modelo logró ser capaz de detectar letras, palabras y frases cortas en tiempo real.
Resum:	This project aims to develop a real-time sign language recognition system using computer vision and deep learning techniques. The system is capable of identifying and translating American Sign Language (ASL) gestures into text, with the intention of improving communication between deaf and hearing people. The solution employs an Inflated 3D ConvNet (I3D) architecture pre-trained on ImageNet and optimized for sign classification using the WLASL dataset. The model processes RGB video inputs and combines video and frame-level predictions to improve recognition accuracy. Although still limited by dataset variability and class imbalance, the model was able to detect letters, words, and short phrases in real time.
Drets:	Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la distribució, i la comunicació pública de l'obra, sempre que no sigui amb finalitats comercials, i sempre que es reconegui l'autoria de l'obra original. No es permet la creació d'obres derivades.
Llengua:	Català
Titulació:	Enginyeria Informàtica [2502441]
Pla d'estudis:	Enginyeria Informàtica [958]
Document:	Treball final de grau ; Text
Àrea temàtica:	Menció Computació
Matèria:	Visió per computador ; Aprenentatge profund ; Traduir gestos ; Inflated 3D ; WLASL ; Visión por computador ; Aprendizaje profundo ; Traducir gestos ; Computer vision ; Deep learning ; Gesture recognition ; Inception I3D

12 p, 1.1 MB

El registre apareix a les col·leccions:
Documents de recerca > Treballs de Fi de Grau > Escola d'Enginyeria. TFG