Multispectral NeRF : modeling real scenes and synthetic remote sensing imagery
Marcos Almansa, Arnau
Lumbreras Ruiz, Felipe, dir. (Universitat Autònoma de Barcelona. Departament de Ciències de la Computació)
Universitat Autònoma de Barcelona. Escola d'Enginyeria

Additional title:	Multispectral NeRF : modelant escenes reals i imatges sintètiques teledetectades
Additional title:	Multispectral NeRF : modelando escenas reales e imágenes sintéticas de detección remota
Date:	2024
Abstract:	This project explores the use of Neural Radiance Fields (NeRF) in the multispectral domain. We build a NeRF model that supports multi-band images other than RGB. We use a combination of multispectral images taken from real scenes and synthetic scenes based on Sentinel-2 data. Synthetic imagery provides a controlled environment to train and test the NeRF model without the particularities of real aerial and satellite imagery. The project also builds its own volumetric rendering pipeline and implements neural networks for the NeRF implementation. The results are comparable to the original NeRF implementation. The extension to the multispectral case has been direct, and it is possible to work with all the bands with a low error, and with regard to aerial and satellite multispectral images we highlight the potential that these techniques have in this field of remote sensing.
Abstract:	Aquest projecte explora l'ús dels Neural Radiance Fields (NeRF) en el domini multiespectral. Construïm un model NeRF que admet imatges amb diverses bandes a part de RGB. Utilitzem una combinació d'imatges multiespectrals preses d'escenes reals i escenes sintètiques basades en dades de Sentinel-2. Les imatges sintètiques proporcionen un entorn controlat per entrenar i provar el model NeRF sense les particularitats de les imatges aèries i satèl·lits reals. El projecte també construeix el seu propi pipeline de renderització volumètrica i implementa xarxes neuronals per a la implementació de NeRF. Els resultats són comparables a la implementació original de NeRF. L'extensió al cas multiespectral ha estat directa, i es pot treballar amb totes les bandes amb un error baix, i pel que fa a les imatges multiespectrals aerees i de satèl·lit destaquem el potencial que tenen aquestes tècniques en aquest àmbit de la teledetecció.
Abstract:	Este proyecto explora el uso de Neural Radiance Fields (NeRF) en el dominio multiespectral. Construimos un modelo NeRF que admite imágenes con varias bandas aparte de RGB. Utilizamos una combinación de imágenes multiespectrales tomadas de escenas reales y escenas sintéticas basadas en datos de Sentinel-2. Las imágenes sintéticas proporcionan un entorno controlado para entrenar y probar el modelo NeRF sin las particularidades de las imágenes aéreas y satélites reales. El proyecto también construye su propio pipeline de renderización volumétrica e implementa redes neuronales para la implementación de NeRF. Los resultados son comparables con la implementación original de NeRF. La extensión al caso multiespectral ha sido directa, y se puede trabajar con todas las bandas con un error bajo, y en lo que se refiere a las imágenes multiespectrales aéreas y de satélite destacamos el potencial que tienen estas técnicas en este ámbito de la teledetección .
Rights:	Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial i la comunicació pública de l'obra, sempre que no sigui amb finalitats comercials, i sempre que es reconegui l'autoria de l'obra original. No es permet la creació d'obres derivades.
Language:	Anglès
Studies:	Grau en Enginyeria Informàtica [2502441]
Study plan:	Enginyeria Informàtica [958]
Document:	Treball final de grau ; Text
Subject area:	Menció Computació
Subject:	NeRF ; Multispectral image ; Satelite image ; Neural field representation ; Imatge multispectral ; Imatge satelital ; Camps neuronals ; Imagen multiespectral ; Imagen satelital ; Campos neuronales

14 p, 16.0 MB

The record appears in these collections:
Research literature > Bachelor's degree final project > School of Engineering. TFG