Big Data platform deployment in a HPC cluster
Ferrer López, Pol
Fernández González, Rafael, dir.
Universitat Autònoma de Barcelona. Escola d'Enginyeria

Additional title: Despliegue de una plataforma Big Data en un cluster HPC
Additional title: Desplegament d'una plataforma Big Data en un cluster HPC
Date: 2020
Abstract: El Big Data es un término que está tomando cada vez más importancia en nuestro sector, ya que conforme pasan los años todas las empresas trabajan con cantidades más grandes, complejas e importantes de datos. Por lo tanto, es importante utilizar software y plataformas que nos ayuden a gestionar, distribuir y analizar estos datos. Se mostrará cómo ha sido trabajar en el departamento de Applied Intelligence (Accenture) para desplegar una famosa plataforma Big Data y con sus distintos componentes. Ésta llevará a cabo una ETL (Extract, Transform and Load) encargada de procesar datos que más adelante se utilizarán en un modelo predictivo desarrollado por compañeros de la empresa. Se generará una gran cantidad de documentación para que futuros miembros del equipo puedan desplegar y trabajar con la plataforma.
Abstract: Big Data is a term that is becoming increasingly important in our sector, since as the years go by, all companies work with larger, more complex and important amounts of data. Therefore, it is important to use software and platforms that help us manage, distribute and analyze this data. It will be shown how it has been working in the Applied Intelligence department (Accenture) to deploy a famous Big Data platform and its various components. This will carry out an ETL (Extract, Transform and Load) in charge of processing data that will later be used in a predictive model developed by colleagues from the company. A large amount of documentation will be generated for future team members to deploy and work with the platform.
Abstract: El Big Data és un terme que està prenent cada vegada més importància en el nostre sector, ja que a mesura que passen els anys totes les empreses treballen amb quantitats més grans, complexes i importants de dades. Per tant, és important utilitzar programari i plataformes que ens ajudin a gestionar, distribuir i analitzar aquestes dades. Es mostrés com ha estat treballar al departament d'Applied Intelligence (Accenture) per desplegar una famosa plataforma Big Data i amb els seus diferents components. Aquesta durà a terme una ETL (Extract, Transform and Load) encarregada de processar dades que més endavant s'utilitzaran en un model predictiu desenvolupat per companys de l'empresa. Es generarà una gran quantitat de documentació perquè futurs membres de l'equip puguin desplegar i treballar amb la plataforma.
Rights: Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial i la comunicació pública de l'obra, sempre que no sigui amb finalitats comercials, i sempre que es reconegui l'autoria de l'obra original. No es permet la creació d'obres derivades. Creative Commons
Language: Castellà
Studies: Grau en Enginyeria Informàtica [2502441]
Study plan: Enginyeria Informàtica [958]
Document: bachelorThesis ; Text
Subject area: Menció Tecnologies de la Informació
Subject: Amazon Web Services ; Apache Drill ; Apache Kafka ; Apache Spark ; API ; Big Data ; Cloud ; ETL ; Hadoop ; HDFS ; HPC ; On-premise ; MapR ; Microsoft Azure ; Python ; VPN ; VPC



12 p, 1008.2 KB

The record appears in these collections:
Research literature > Bachelor's degree final project > School of Engineering

 Record created 2020-09-02, last modified 2020-10-31



   Favorit i Compartir