Nilut : conditional neural implicit 3d lookup tables for image enhancement
Conde, Marcos V. (University of Wurzburg. Computer Vision Lab)
Vázquez i Corral, Javier (Universitat Autònoma de Barcelona. Departament de Ciències de la Computació)
Brown, Michael S. (York University)
Timofte, Radu (University of Wurzburg. Computer Vision Lab)

Fecha:	2024
Resumen:	3D lookup tables (3D LUTs) are a key component for image enhancement. Modern image signal processors (ISPs) have dedicated support for these as part of the camera rendering pipeline. Cameras typically provide multiple options for picture styles, where each style is usually obtained by applying a unique handcrafted 3D LUT. Current approaches for learning and applying 3D LUTs are notably fast, yet not so memoryeffcient, as storing multiple 3D LUTs is required. For this reason and other implementation limitations, their use on mobile devices is less popular. In this work, we propose a Neural Implicit LUT (NILUT), an implicitly defned continuous 3D color transformation parameterized by a neural network. We show that NILUTs are capable of accurately emulating real 3D LUTs. Moreover, a NILUT can be extended to incorporate multiple styles into a single network with the ability to blend styles implicitly. Our novel approach is memory-effcient, controllable and can complement previous methods, including learned ISPs. Code at https://github. com/mv-lab/nilut.
Ayudas:	Agencia Estatal de Investigación PID2021-128178OB-I00 Agència de Gestió d'Ajuts Universitaris i de Recerca 2021/SGR-01499
Derechos:	Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la distribució, la comunicació pública de l'obra i la creació d'obres derivades, fins i tot amb finalitats comercials, sempre i quan aquestes es distribueixin sota la mateixa llicència que regula l'obra original i es reconegui l'autoria de l'obra original.
Lengua:	Anglès
Documento:	Prepublicació ; recerca ; Versió de l'autor
Materia:	Controllability ; Neural networks ; Image enhancement ; Lookup tables ; Cameras

DOI: 10.48550/arXiv.2306.11920

11 p, 13.5 MB

El registro aparece en las colecciones:
Documentos de investigación > Prepublicacions