Sistema de Reconocimiento de Lengua de Signos
Garcia Viciana, Rubén
Sánchez Albaladejo, Gemma, tut. (Universitat Autònoma de Barcelona. Departament d'Enginyeria de la Informació i de les Comunicacions)
Universitat Autònoma de Barcelona. Escola d'Enginyeria

Títol variant:	Desenvolupament d' un Sistema de Reconeixement de Llengua de Signes Mitjançant Visió per Computador i Aprenentatge Automàtic
Títol variant:	Development of a Sign Language Recognition System Using Computer Vision and Machine Learning
Data:	2025
Resum:	L'objectiu d'aquest treball és desenvolupar un sistema capaç de reconèixer signes del llenguatge de dades argentí (LSA) a partir de vídeos. Per fer-ho, s'utilitza la base de dades LSA64, composta per 64 senyals realitzats per 10 subjectes, amb un total de 3200 vídeos. El procés inclou la segmentació de vídeos en frames, detecció de mans i normalització. Es fa servir una xarxa neuronal que combina una CNN, per extreure característiques espacials de les mans, i una LSTM, que modela la seqüència temporal del moviment. El model s'entrena amb aquestes dades per classificar correctament els signes i així poder fer-ne una bona traducció. Es classifica correctament el signe a cada vídeo de manera offline. Els resultats tenen una precisió superior al 99% a les dades de test, i en el cas dels vídeos propis, s'aconsegueix un rendiment del 73% en condicions diferents de les de la base de dades.
Resum:	El objetivo de este trabajo es desarrollar un sistema capaz de reconocer signos del lenguaje de señas argentino (LSA) a partir de videos. Para ello, se utiliza la base de datos LSA64, compuesta por 64 señas realizadas por 10 sujetos, con un total de 3200 videos. El proceso incluye la segmentación de videos en frames, detección de manos y normalización. Se emplea una red neuronal que combina una CNN, para extraer características espaciales de las manos, y una LSTM, que modela la secuencia temporal del movimiento. El modelo se entrena con estos datos para clasificar correctamente los signos y así poder hacer una buena traducción de estos. Se clasifica correctamente el signo en cada video de manera offline. Los resultados tienen una precisión superior al 99% en los datos de test, y en el caso de los videos propios, se logra un rendimiento del 73% en condiciones diferentes a las de la base de datos.
Resum:	The objective of this project is to develop a system capable of recognizing signs from the Argentine Sign Language (LSA) using video input. For this purpose, the LSA64 dataset is used, which consists of 64 different signs performed by 10 subjects, totaling 3200 videos. The process includes video segmentation into frames, hand detection, and normalization. A neural network is employed that combines a Convolutional Neural Network (CNN) to extract spatial features of the hands and a Long Short-Term Memory (LSTM) network to model the temporal sequence of movement. The model is trained on this data to correctly classify the signs, enabling accurate translation. Each video is classified offline, without requiring an internet connection. The results show over 99% accuracy on the test set, and in the case of custom-recorded videos, the system achieves a 73% accuracy under different conditions from those in the dataset.
Drets:	Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la distribució, la comunicació pública de l'obra, i la creació d'obres derivades, sempre que no sigui amb finalitats comercials i que es distribueixin sota la mateixa llicència que regula l'obra original. Cal que es reconegui l'autoria de l'obra original.
Llengua:	Castellà
Titulació:	Enginyeria Informàtica [2502441]
Pla d'estudis:	Enginyeria Informàtica [958]
Document:	Treball final de grau ; Text
Àrea temàtica:	Menció Enginyeria de Computadors
Matèria:	LSA (Llenguatge de Senyals Argentina) ; Pidgin (Sistema que ha estat format per una sèrie de signes que han estat pactats entre persones que no tenen una llengua en comú) ; CNN (Convolutional neural network) ; Deep learning (És un tipus de machine learning q ; LSA (Argentine Sign Language) ; Pidgin (A system formed by a series of signs that have been agreed upon between people who do not have a common language) ; Deep learning (It is a type of machine learning that trains a mod ; LSA (Lenguaje de Señas Argentina) ; Pidgin (a system that has been formed by a series of signs that have been agreed upon by people who do not have a common language). CNN (Convolutional neural network) ; Deep learning (It is a type of machine learning that

14 p, 5.4 MB

El registre apareix a les col·leccions:
Documents de recerca > Treballs de Fi de Grau > Escola d'Enginyeria. TFG