Avançando na reconstrução 3d com nerf hierárquico e jax3d

Pesquisadores desenvolveram um campo de radiação neural (NeRF) hierárquico usando JAX, Flax, Optax e jax3d para habilitar a renderização volumétrica, a síntese de vistas e a reconstrução 3D. A abordagem constrói um conjunto de dados sintéticos multi-visão a partir de uma cena analítica com geometria volumétrica e radiação dependente da visão, usando sample_along_rays e volume_rendering para renderização. O modelo incorpora codificação posicional, conexões de salto e condicionamento da direção da visão, com amostragem hierárquica de importância através de sample_piecewise_constant_pdf. O treinamento envolve a compilação JIT do JAX, otimização Adam, decaimento exponencial da taxa de aprendizado e recorte de gradiente, enquanto a avaliação se concentra em PSNR, visualização de profundidade e opacidade, e extração de geometria marching-cubes. O sistema configura um ambiente JAX3D, configura parâmetros adaptativos GPU/CPU e usa intrínsecas de pinhole e posicionamento da câmera baseado em órbita. Ele gera raios normalizados no espaço mundial e constrói uma cena de referência com esferas com bordas suaves e pisos com padrões. A representação NeRF usa codificação posicional sinusoidal e uma MLP Flax profunda com conexões de salto para prever a densidade e condicionar o RGB na direção de visualização. O renderizador hierárquico amostra pontos grosseiros e finos, combina-os e interrompe os gradientes durante a amostragem. O treinamento otimiza ambas as redes em conjunto, com monitoramento do PSNR durante a otimização. A avaliação final mede a qualidade da reconstrução de vistas novas com PSNR, visualiza o comportamento da amostragem de importância, gera um GIF orbital de 360 graus e extrai geometria usando marching cubes. O estudo demonstra uma pipeline de renderização inversa de ponta a ponta, integrando os componentes matemáticos do jax3d com o treinamento moderno baseado em JAX para um sistema completo de reconstrução NeRF.