tut. (Universitat Autònoma de Barcelona. Departament d'Arquitectura de Computadors i Sistemes Operatius)
| Additional title: |
Anàlisi de prestacions de sistemes d'emmagatzematge |
| Additional title: |
Performance analysis of storage systems |
| Date: |
2026 |
| Abstract: |
Els entorns de Deep Learning (DL) i Distributed Deep Learning (DDL) són fonamentals per a la intel·ligència artificial, però sovint s'enfronten a un "coll d'ampolla" en la infraestructura d'Entrada/Sortida (E/S) a causa de la gran quantitat de dades i la constant lectura/escriptura. Les eines d'anàlisi com DLIO i Darshan generen informació complexa i dispersa, fet que dificulta el diagnòstic ràpid del rendiment. Aquest treball proposa el disseny i la implementació d'un tauler de control (dashboard) en Microsoft Power BI per centralitzar, unificar i presentar de forma visual els indicadors de rendiment clau. La metodologia inclou l'ús de DLIO per generar càrrega sintètica i Darshan per capturar traces d'E/S. S'ha desenvolupat un motor ETL (Extract, Transform, Load) basat en Python per processar els registres (logs) binaris, calcular mètriques crítiques com el Throughput, el Jitter de latència i la relació I/O-CPU, i generar arxius CSV llistos per a l'anàlisi. A més, s'implementa un flux de treball (pipeline) automatitzat amb un script mestre (run_benchmark. sh) per garantir la reproductibilitat dels experiments, gestionar la higiene de memòria (cache dropping) i parametritzar dinàmicament escenaris de prova (Seqüencial, Metadades, Alta Concurrència). L'objectiu final és facilitar una anàlisi àgil i la ràpida detecció de problemes en el sistema d'emmagatzematge. |
| Abstract: |
Deep Learning (DL) and Distributed Deep Learning (DDL) environments are fundamental to artificial intelligence but often face an I/O bottleneck in storage infrastructure due to massive data volumes and constant read/write operations. Analysis tools like DLIO and Darshan generate complex and scattered information, hindering quick performance diagnostics. This work proposes the design and implementation of a control panel (dashboard) in Microsoft Power BI to centralize, unify, and visually present key performance indicators. The methodology involves using the DLIO benchmark for synthetic load generation and Darshan for transparent I/O trace capture. A custom Python-based ETL (Extract, Transform, Load) engine has been developed to process the binary logs, calculate critical metrics such as Throughput, Latency Jitter, and the I/O-CPU Ratio, and generate analysis-ready CSV files. Furthermore, an automated pipeline is implemented with a master script (run_benchmark. sh) to ensure experimental reproducibility, manage memory hygiene (cache dropping), and dynamically parametrize test scenarios (Sequential, Metadata-intensive, High Concurrency). The objective is to facilitate agile analysis and the rapid detection of issues within the storage system. |
| Abstract: |
Los entornos de Deep Learning (DL) y Distributed Deep Learning (DDL) son fundamentales para la inteligencia artificial, pero a menudo se enfrentan a un "cuello de botella" en la infraestructura de Entrada/Salida (E/S) debido a la gran cantidad de datos y la constante lectura/escritura. Las herramientas de análisis como DLIO y Darshan generan información compleja y dispersa, lo que dificulta el diagnóstico rápido del rendimiento. Este trabajo propone el diseño e implementación de un panel de control (dashboard) en Microsoft Power BI para centralizar, unificar y presentar de forma visual los indicadores de rendimiento clave. La metodología incluye el uso de DLIO para generar carga sintética y Darshan para capturar trazas de E/S. Se ha desarrollado un motor ETL (Extract, Transform, Load) basado en Python para procesar los logs binarios, calcular métricas críticas como el Throughput, Jitter de latencia y la Relación I/O-CPU, y generar archivos CSV listos para el análisis. Además, se implementa un flujo de trabajo (pipeline) automatizado con un script maestro (run_benchmark. sh) para garantizar la reproducibilidad de los experimentos, gestionar la higiene de memoria (caché dropping) y parametrizar dinámicamente escenarios de prueba (Secuencial, Metadatos, Alta Concurrencia). El fin es facilitar un análisis ágil y la rápida detección de problemas en el sistema de almacenamiento. |
| Rights: |
Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la distribució, la comunicació pública de l'obra i la creació d'obres derivades, sempre que no sigui amb finalitats comercials, i sempre que es reconegui l'autoria de l'obra original.  |
| Language: |
Castellà |
| Studies: |
Enginyeria Informàtica [2502441] |
| Study plan: |
Enginyeria Informàtica [958] |
| Document: |
Treball final de grau |
| Subject area: |
Menció Enginyeria de Computadors |
| Subject: |
Aprenentatge Profund (Deep Learning) ;
Aprenentatge Profund Distribuït (Distributed Deep Learning) ;
Sistemes d'Emmagatzematge ;
E/S ;
Benchmarking ;
Profiling ;
DLIO ;
Darshan ;
Tauler de control (Dashboard) ;
Power BI ;
Deep Learning ;
Distributed Deep Learning ;
Storage Systems ;
I/O ;
Dashboard ;
Sistemas de Almacenamiento |
guest ::
