Avance en la reconstrucción 3d con nerf jerárquico y jax3d

Los investigadores han desarrollado un campo de radiación neuronal (NeRF) jerárquico utilizando JAX, Flax, Optax y jax3d para habilitar el renderizado volumétrico, la síntesis de vistas novedosas y la reconstrucción 3D. El enfoque construye un conjunto de datos sintéticos multi-vista a partir de una escena analítica con geometría volumétrica y radiación dependiente de la vista, utilizando sample_along_rays y volume_rendering para el renderizado. El modelo incorpora codificación posicional, conexiones de salto y condicionamiento de la dirección de la vista, con muestreo jerárquico de importancia a través de sample_piecewise_constant_pdf. El entrenamiento implica la compilación JIT de JAX, la optimización de Adam, la disminución exponencial de la tasa de aprendizaje y el recorte de gradientes, mientras que la evaluación se centra en PSNR, visualización de profundidad y opacidad, y extracción de geometría de marching-cubes. El sistema establece un entorno JAX3D, configura parámetros adaptativos de GPU/CPU y utiliza intrínsecas de pinhole y colocación de cámara basada en orbitas. Genera rayos normalizados en el espacio mundial y construye una escena de referencia con esferas con bordes suaves y suelos con patrones. La representación NeRF utiliza codificación posicional sinusoidal y una MLP profunda de Flax con conexiones de salto para predecir la densidad y condicionar el RGB en la dirección de la vista. El renderizador jerárquico muestrea puntos gruesos y finos, los combina y detiene los gradientes durante el muestreo. El entrenamiento optimiza ambas redes conjuntamente, con monitoreo de PSNR durante la optimización. La evaluación final mide la calidad de la reconstrucción de vistas novedosas con PSNR, visualiza el comportamiento del muestreo de importancia, genera un GIF de órbita de 360 grados y extrae la geometría utilizando marching cubes. El estudio demuestra una tubería de renderizado inverso de extremo a extremo, integrando los componentes matemáticos de jax3d con el entrenamiento moderno basado en JAX para un sistema completo de reconstrucción de NeRF.