dir. (Universitat Autònoma de Barcelona. Departament d'Arquitectura de Computadors i Sistemes Operatius)
| Título variante: |
Generació automàtica de scripts SLURM per a execucions massives |
| Título variante: |
Automatic generation of SLURM scripts for massive executions |
| Fecha: |
2023 |
| Resumen: |
HPC és una tecnologia que utilitza clústers de potents processadors treballant en paral·lel amb l'objectiu de processar conjunts de dades massius (big data) i resoldre problemes complexos a una velocitat extrema. Normalment, les execucions que mouen aquesta quantitat de dades solen estar paral·lelitzades i optimitzades per millorar el temps, per la qual cosa, per a aquests casos, HPC és la tecnologia idònia. Això és degut a que HPC és capaç de suportar una computació massiva en paral·lel. Per a això solen utilitzar-se scripts que contenen la configuració de l'entorn (nombre de nodes, CPUs per tasca. . . ), de l'execució de l'experiment i opcions de compilació. Partint d'aquesta premisa, en aquest treball final de grau s'ha creat una aplicació per generar, de forma automàtica, scripts SLURM per a execucions massives. Aquesta aplicació té com a finalitat facilitar la preparació i configuració d'execucions experimentals. Com que les execucions massives d'experiments científics requereixen d'una bona preparació de l'execució, gràcies a l'ús d'aquest programa s'ha reduït el temps que necessita l'investigador d'una mitja hora o una hora, més o menys, a només uns pocs minuts. Això permet agilitzar les execucions que es desitgen llançar i optimitzar el temps de treball de l'investigador. |
| Resumen: |
HPC es una tecnología que utiliza clústeres de potentes procesadores trabajando en paralelo con el objetivo de procesar conjuntos de datos masivos (big data) y resolver problemas complejos a una velocidad extrema. Normalmente, las ejecuciones que mueven esta cantidad de datos, suelen estar paralelizadas y optimizadas para mejorar el tiempo, por lo que para estos casos HPC es la tecnología idónea. Esto es debido a que HPC es capaz de soportar una computación masiva en paralelo. Para ello suelen utilizarse Scripts que contienen la configuración del entorno (número de nodos, CPUs por tarea. . . ), de la ejecución del experimento y opciones de compilación. Partiendo de esta premisa, en este trabajo final de grado, se ha creado una aplicación para generar, de forma automática, Scripts SLURM para ejecuciones masivas. Esta aplicación tiene como finalidad, facilitar la preparación y configuración de ejecuciones experimentales. Como las ejecuciones masivas de experimentos científicos requieren de una buena preparación de la ejecución, gracias al uso de este programa ha reducido el tiempo que necesita el investigador de una media hora u hora, más o menos, a solo unos pocos minutos. Esto permite agilizar las ejecuciones que se desean lanzar y optimizando el tiempo de trabajo del investigador. |
| Resumen: |
HPC is a technology that utilizes clusters of powerful processors working in parallel with the objective of processing massive datasets (big data) and solving complex problems at high speeds. Typically, executions that involve moving this amount of data are parallelized and optimized to improve processing time, making HPC the ideal technology for such cases. This is because HPC is capable of supporting massive parallel computing. Scripts are often used for this purpose, which contain the configuration of the environment (number of nodes, CPUs per task, etc. ), the execution of the experiment, and compilation options. Based on this premise, in this final undergraduate project, an application has been created to automatically generate SLURM scripts for massive executions. The purpose of this application is to facilitate the preparation and configuration of experimental executions. Since massive executions of scientific experiments require thorough preparation, the use of this program has reduced the time needed by researchers from an average of half an hour or an hour to just a few minutes. This allows for faster launching of executions and optimizes the researcher's working time. |
| Derechos: |
Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial i la comunicació pública de l'obra, sempre que no sigui amb finalitats comercials, i sempre que es reconegui l'autoria de l'obra original. No es permet la creació d'obres derivades.  |
| Lengua: |
Castellà |
| Titulación: |
Grau en Enginyeria Informàtica [2502441] |
| Plan de estudios: |
Enginyeria Informàtica [958] |
| Documento: |
Treball final de grau ; Text |
| Área temática: |
Menció Enginyeria de Computadors |
| Materia: |
Jenkins ;
HPC ;
Cluster ;
Execucions massives ;
Slurm ;
Script ;
Ejecuciones masivas ;
Mass executions |
visitante ::
identificación
