Big Data platform deployment in a HPC cluster
Ferrer López, Pol
Fernández González, Rafael, dir.
Universitat Autònoma de Barcelona. Escola d'Enginyeria

Títol variant: Despliegue de una plataforma Big Data en un cluster HPC
Títol variant: Desplegament d'una plataforma Big Data en un cluster HPC
Data: 2020
Resum: El Big Data es un término que está tomando cada vez más importancia en nuestro sector, ya que conforme pasan los años todas las empresas trabajan con cantidades más grandes, complejas e importantes de datos. Por lo tanto, es importante utilizar software y plataformas que nos ayuden a gestionar, distribuir y analizar estos datos. Se mostrará cómo ha sido trabajar en el departamento de Applied Intelligence (Accenture) para desplegar una famosa plataforma Big Data y con sus distintos componentes. Ésta llevará a cabo una ETL (Extract, Transform and Load) encargada de procesar datos que más adelante se utilizarán en un modelo predictivo desarrollado por compañeros de la empresa. Se generará una gran cantidad de documentación para que futuros miembros del equipo puedan desplegar y trabajar con la plataforma.
Resum: Big Data is a term that is becoming increasingly important in our sector, since as the years go by, all companies work with larger, more complex and important amounts of data. Therefore, it is important to use software and platforms that help us manage, distribute and analyze this data. It will be shown how it has been working in the Applied Intelligence department (Accenture) to deploy a famous Big Data platform and its various components. This will carry out an ETL (Extract, Transform and Load) in charge of processing data that will later be used in a predictive model developed by colleagues from the company. A large amount of documentation will be generated for future team members to deploy and work with the platform.
Resum: El Big Data és un terme que està prenent cada vegada més importància en el nostre sector, ja que a mesura que passen els anys totes les empreses treballen amb quantitats més grans, complexes i importants de dades. Per tant, és important utilitzar programari i plataformes que ens ajudin a gestionar, distribuir i analitzar aquestes dades. Es mostrés com ha estat treballar al departament d'Applied Intelligence (Accenture) per desplegar una famosa plataforma Big Data i amb els seus diferents components. Aquesta durà a terme una ETL (Extract, Transform and Load) encarregada de processar dades que més endavant s'utilitzaran en un model predictiu desenvolupat per companys de l'empresa. Es generarà una gran quantitat de documentació perquè futurs membres de l'equip puguin desplegar i treballar amb la plataforma.
Drets: Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial i la comunicació pública de l'obra, sempre que no sigui amb finalitats comercials, i sempre que es reconegui l'autoria de l'obra original. No es permet la creació d'obres derivades. Creative Commons
Llengua: Castellà
Titulació: Grau en Enginyeria Informàtica [2502441]
Pla d'estudis: Enginyeria Informàtica [958]
Document: bachelorThesis ; Text
Àrea temàtica: Menció Tecnologies de la Informació
Matèria: Amazon Web Services ; Apache Drill ; Apache Kafka ; Apache Spark ; API ; Big Data ; Cloud ; ETL ; Hadoop ; HDFS ; HPC ; On-premise ; MapR ; Microsoft Azure ; Python ; VPN ; VPC



12 p, 1008.2 KB

El registre apareix a les col·leccions:
Documents de recerca > Treballs de Fi de Grau > Escola d'Enginyeria. TFG

 Registre creat el 2020-09-02, darrera modificació el 2020-10-31



   Favorit i Compartir