CosmoHub : Interactive exploration and distribution of astronomical data on Hadoop
Tallada, Pau (Port d'Informació Científica)
Carretero Palacios, Jorge (Institut de Física d'Altes Energies)
Casals, Jordi (Port d'Informació Científica)
Acosta-Silva, Carlos (Institut de Física d'Altes Energies)
Serrano, Santiago (Institut d'Estudis Espacials de Catalunya)
Caubet, Marc (Port d'Informació Científica)
Castander, Francisco Javier (Institut d'Estudis Espacials de Catalunya)
César Galobardes, Eduardo (Universitat Autònoma de Barcelona. Departament d'Arquitectura de Computadors i Sistemes Operatius)
Crocce, Martín (Institut d'Estudis Espacials de Catalunya)
Delfino, Manuel (Institut de Física d'Altes Energies)
Eriksen, Martin (Institut de Física d'Altes Energies)
Fosalba, Pablo (Institut d'Estudis Espacials de Catalunya)
Gaztañaga, Enrique (Institut d'Estudis Espacials de Catalunya)
Merino, Gonzalo (Institut de Física d'Altes Energies)
Neissner, Christian (Institut de Física d'Altes Energies)
Tonello, Nadia (Barcelona Supercomputing Center)

Fecha:	2020
Resumen:	We present CosmoHub (https://cosmohub. pic. es), a web application based on Hadoop to perform interactive exploration and distribution of massive cosmological datasets. Recent Cosmology seeks to unveil the nature of both dark matter and dark energy mapping the large-scale structure of the Universe, through the analysis of massive amounts of astronomical data, progressively increasing during the last (and future) decades with the digitization and automation of the experimental techniques. CosmoHub, hosted and developed at the Port d'Informacio Científica (PIC), provides support to a worldwide community of scientists, without requiring the end user to know any Structured Query Language (SQL). It is serving data of several large international collaborations such as the Euclid space mission, the Dark Energy Survey (DES), the Physics of the Accelerating Universe Survey (PAUS) and the Marenostrum Institut de Ciencies de l'Espai (MICE) numerical simulations. While originally developed as a PostgreSQL relational database web frontend, this work describes the current version of CosmoHub, built on top of Apache Hive, which facilitates scalable reading, writing and managing huge datasets. As CosmoHub's datasets are seldomly modified, Hive it is a better fit. Over 60 TiB of catalogued information and 50 × 109 astronomical objects can be interactively explored using an integrated visualization tool which includes 1D histogram and 2D heatmap plots. In our current implementation, online exploration of datasets of 109 objects can be done in a timescale of tens of seconds. Users can also download customized subsets of data in standard formats generated in few minutes.
Derechos:	Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la distribució, i la comunicació pública de l'obra, sempre que no sigui amb finalitats comercials, i sempre que es reconegui l'autoria de l'obra original. No es permet la creació d'obres derivades.
Lengua:	Anglès
Documento:	Article ; recerca ; Versió acceptada per publicar
Materia:	Apache Hadoop ; Apache Hive ; Data exploration ; Data distribution ; FITS ; ASDF
Publicado en:	Astronomy and computing, Vol. 32 (July 2020) , art. 100391, ISSN 2213-1337

Adreça alternativa: https://arxiv.org/abs/2003.03217v2
DOI: 10.1016/j.ascom.2020.100391

Postprint 23 p, 2.7 MB

El registro aparece en las colecciones:
Documentos de investigación > Documentos de los grupos de investigación de la UAB > Centros y grupos de investigación (producción científica) > Ciencias > Institut de Física d’Altes Energies (IFAE)
Artículos > Artículos de investigación
Artículos > Artículos publicados