Integration and development of AI Accelerator applications in Universal Robots arm
Soto Picón, Xavier
Garcia Calvo, Carlos, tut. (Universitat Autònoma de Barcelona. Departament de Ciències de la Computació)
Universitat Autònoma de Barcelona. Escola d'Enginyeria

Títol variant:	Integració i desenvolupament d'aplicacions d'AI Accelerator en un braç robotic d'Universal Robots
Títol variant:	Integración y desarrollo de aplicaciones de AI Accelerator en un brazo robótico de Universal Robots
Data:	2025
Resum:	Aquest treball presenta un sistema robòtic autònom que incrementa l'autonomia de persones amb mobilitat reduïda mitjançant la manipulació d'objectes controlada per veu. L'arquitectura integra una cadena de models d'IA en un braç d'Universal Robots, tot plegat dins del nou NVIDIA Jetson AI Accelerator. Processa ordres de veu amb Whisper i un Small Language Model, detecta objectes amb un YOLOv8 i calcula la posició de presa ideal utilitzant màscares de segmentació del model SAM, aconseguint una latència d'extrem a extrem de 4 segons amb gran precisió. Això permet la recollida fiable d'objectes de formes i dimensions diverses. En global, el projecte demostra amb èxit l'immens potencial que sorgeix en combinar IA i robòtica per a aplicacions d'alt rendiment en assistència de persones. El codi complet esta disponible a https://github. com/xsotopi/TFG.
Resum:	Este trabajo presenta un sistema robótico autónomo destinado a aumentar la autonomía de personas con movilidad reducida mediante la manipulación de objetos controlada por voz. La arquitectura integra una cadena de modelos de IA en un brazo de Universal Robots, todo ello dentro de su nuevo NVIDIA Jetson AI Accelerator. Procesa órdenes de voz con Whisper y un Small Language Model, detecta objetos con un YOLOv8 y calcula la pose de agarre ideal empleando máscaras de segmentación del modelo SAM, logrando una latencia de extremo a extremo de 4 segundos con alta precisión. Esto permite la recogida fiable de objetos de formas y tamaños diversos. En conjunto, el proyecto demuestra con éxito el enorme potencial que surge al combinar IA y robótica para aplicaciones de alto rendimiento en asistencia de personas. El código completo está disponible en https://github. com/xsotopi/TFG.
Resum:	This work presents an autonomous robotic system to enhance the autonomy of individuals with reduced mobility through voice-controlled object manipulation. The architecture integrates a pipeline of AI models on a Universal Robots arm, all within its new NVIDIA Jetson AI Accelerator. It processes voice commands using Whisper and a Small Language Model, detects objects with a fine-tuned YOLOv8, and computes the ideal grasp pose using SAM segmentation masks achieving a 4 second end-to-end latency with high accuracy. This enables reliable picking of a variety of objects with different shape and sizes. Overall, the project serves as a successful proof of the immense potential that arise when combining AI and robotics for high-performance assistive applications. The complete source code is available at https://github. com/xsotopi/TFG.
Drets:	Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la distribució, i la comunicació pública de l'obra, sempre que no sigui amb finalitats comercials, i sempre que es reconegui l'autoria de l'obra original. No es permet la creació d'obres derivades.
Llengua:	Anglès
Titulació:	Grau en Intel·ligència Artificial [2504392]
Pla d'estudis:	Intel·ligència Artificial [1497]
Document:	Treball final de grau ; Text
Matèria:	Robòtica assistencial ; Control per veu ; Aprenentatge profund ; IA ; Visió per computador ; YOLOv8 ; SAM ; Model lingüístic lleuger ; Calibratge mà-ull ; Paràmetres intrínsecs de la càmera ; Interacció persona-robot ; Sistemes en temps real ; Accelerador d'IA ; Robótica asistencial ; Control por voz ; Aprendizaje profundo ; Visión por computador ; Modelo lingüístico ligero ; Calibración mano-ojo ; Parámetros intrínsecos de la cámara ; Interacción persona-robot ; Sistemas en tiempo real ; Acelerador de IA ; Assistive Robotics ; Voice Control ; Deep Learning ; AI ; Computer Vision ; Small Language Model ; Hand-Eye Calibration ; Camera Intrinsics ; Human-Robot Interaction ; Real-Time Systems ; AI Accelerator

19 p, 1.2 MB

El registre apareix a les col·leccions:
Documents de recerca > Treballs de Fi de Grau > Escola d'Enginyeria. TFG