Arquitectura de sistemes BigData pel record linkage de xarxes socials 2
Pérez Callejo, Cristina
Ramos Terrades, Oriol, dir. (Universitat Autònoma de Barcelona. Departament de Ciències de la Computació)
Universitat Autònoma de Barcelona. Escola d'Enginyeria

Títol variant:	Arquitectura de sistemas BigData para el record linkage de redes sociales 2
Títol variant:	Arquitecture of big data systems for the record linkage of social networks 2
Data:	2019-07-01
Resum:	El desenvolupament de Xarxes, un projecte de recerca en humanitats digitals l'objectiu del qual és desenvolupar tècniques informàtiques per construir xarxes socials històriques, fa que el Centre de Visió per Computador (CVC) reculli una gran quantitat de dades que han de ser analitzades, tractades i emmagatzemades per la seva posterior utilització. El projecte que s'ha desenvolupat busca una solució per l'emmagatzematge de tota la Big Data que s'ha recopilat construint una arquitectura distribuïda, escalable horitzontalment, resistent a fallides i amb suport per diferents formats de dades. La solució aportada es basa en una estructura Hadoop multinode muntada sobre containers Docker. Aquesta estructura compta amb un servei Hive per gestionar els datasets emmagatzemats sota el HDFS i realitzar consultes, i un servei Sqoop per comunicar-se amb bases de dades alienes a l'estructura.
Resum:	El desarrollo de Xarxes, un proyecto de investigación en humanidades digitales con el objetivo de desarrollar técnicas informáticas para construir redes sociales históricas, hace que el Centre de Visió per computador (CVC) recoja una gran cantidad de datos que han de ser analizados, tratados y almacenados para su posterior utilización. El proyecto que se ha desarrollado busca una solución para almacenar toda la Big Data que se ha recopilado construyendo una arquitectura distribuida, escalable horizontalmente, resistente a fallos y con soporte para diferentes formatos de datos. La solución aportada se basa en una estructura Hadoop multinode montada sobre containers Docker. Esta estructura cuenta con un servicio Hive para gestionar los datasets almacenados bajo HDFS y realizar consultas, y un servicio Sqoop para comunicar-se con bases de datos ajenas a la estructura.
Resum:	The development of Xarxes, a research project in digital humanities whose aim is to develop computer tecniques to build social networks, makes the Computer Vision Center (CVC) gather a great amount of data that needs be analyzed, treated and stored for its later use. This project is in search of a solution for the storage of all the Big Data that has been compiled building a descentralized computing that is horizontally scalable, resistant to failure and wich work with different data formats. The solution provided is based on a multinode Hadoop structure built over Docker containers. This structure uses a Hive service to manage the datasets that are stored under the HDFS and to carry out enqueries, and also a Sqoop service to communicate with databases external to the structure.
Drets:	Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial i la comunicació pública de l'obra, sempre que no sigui amb finalitats comercials, i sempre que es reconegui l'autoria de l'obra original. No es permet la creació d'obres derivades.
Llengua:	Català
Titulació:	Grau en Enginyeria Informàtica [2502441]
Pla d'estudis:	Enginyeria Informàtica [958]
Document:	Treball final de grau ; Text
Àrea temàtica:	Menció Enginyeria del Software
Matèria:	Hadoop ; Hive ; Sqoop ; Sistema distribuït ; Big data ; Mysql ; Derby ; Database ; HDFS ; Docker ; Container ; Sistema distribuido ; Distribuited system

11 p, 269.9 KB

El registre apareix a les col·leccions:
Documents de recerca > Treballs de Fi de Grau > Escola d'Enginyeria. TFG