Aplicació de visió per computador per a l'assistència a persones amb discapacitat visual
Garriga Puig, Oriol
Parraga, Carlos Alejandro, tut. (Universitat Autònoma de Barcelona. Departament de Ciències de la Computació)
Universitat Autònoma de Barcelona. Escola d'Enginyeria

Título variante: Aplicación de visión por computador para la asistencia a personas con dscapacidad visual
Título variante: Computer vision application for the assistance of low vision people
Fecha: 2025
Resumen: Aquest treball presenta Keia, una aplicació mòbil intel·ligent dissenyada per facilitar l'autonomia de persones amb discapacitat visual mitjançant la comprensió del seu entorn en temps real. El projecte respon a la necessitat creixent de solucions tecnològiques accessibles, empàtiques i en català, que ajudin a interpretar escenes visuals, localitzar objectes i comprendre textos del dia a dia.
Resumen: ste proyecto presenta Keia, una aplicación móvil inteligente diseñada para apoyar la autonomía de personas con discapacidad visual mediante la comprensión en tiempo real de su entorno. La iniciativa responde a una necesidad creciente de soluciones tecnológicas accesibles, empáticas y en catalán que ayuden a los usuarios a interpretar escenas visuales, localizar objetos y comprender textos cotidianos.
Resumen: This project presents Keia, an intelligent mobile application designed to support the autonomy of people with visual impairments through real-time understanding of their surroundings. The initiative responds to a growing need for accessible, empathetic, and Catalan-speaking technological solutions that help users interpret visual scenes, locate objects, and understand everyday text. The app integrates multiple pipelines in a modular architecture based on Flutter, FastAPI, and multimodal AI models. Specifically, it uses GPT-4o for contextual response generation, YOLOv8n for tactile object detection, and Grounding DINO for guided object search based on voice commands. Communication is maintained through personalized sessions managed via Firebase, with persistent conversation memory and native accessibility support through TalkBack and VoiceOver. The app is structured around four main tabs (Live Session with Keia, Camera Only, History, and Settings), offering a fluid and user-centered experience. Keia not only describes: it guides, interprets, and adapts its tone to the user's real situation.
Derechos: Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la distribució, i la comunicació pública de l'obra, sempre que no sigui amb finalitats comercials, i sempre que es reconegui l'autoria de l'obra original. No es permet la creació d'obres derivades. Creative Commons
Lengua: Català
Titulación: Enginyeria Informàtica [2502441]
Plan de estudios: Enginyeria Informàtica [958]
Documento: Treball final de grau ; Text
Área temática: Menció Enginyeria del Software
Materia: Accessibilitat ; Assistència visual ; Visió per computador ; Intel·ligència artificial ; Reconeixement d'objectes ; Aplicació mòbil. personalitzaació d'agents. llm ; Accesibilidad ; Asistencia visual ; Visión por computador ; Inteligencia artificial ; Reconocimiento de objetos ; Aplicación móvil ; Personalización de agentes ; LLM ; Accessibility ; Visual assistance ; Computer vision ; Artificial intelligence ; Object recognition ; Mobile application ; Agent personalization



12 p, 1.8 MB

El registro aparece en las colecciones:
Documentos de investigación > Trabajos de Fin de Grado > Escuela de Ingeniería. TFG

 Registro creado el 2025-07-17, última modificación el 2025-07-23



   Favorit i Compartir