Há 75 anos, a câmera Polaroid foi inventada. Quase um século depois, a NVIDIA está levando a tecnologia de fotografia para o próximo nível com seu modelo de renderização neural Instant NeRF , que tem a capacidade de transformar várias imagens 2D em cenas 3D completas.

Este anúncio faz parte da conferência GTC AI Developer da NVIDIA . Embora esse tipo de renderização de cena 3D, também conhecido como renderização inversa, não seja novidade, a NVIDIA afirma que seu modelo pode realizá-lo quase instantaneamente . A NVIDIA chama essa tecnologia de Instant NeRF, baseada na tecnologia de campo de radiação neural existente, ou NeRFs, que usa uma rede neural para prever a cor da luz que irradia de uma fonte em um espaço 3D para preencher as lacunas entre as imagens usadas para dados.

A empresa diz que o modelo requer apenas algumas dezenas de imagens tiradas em ângulos diferentes, juntamente com dados sobre os ângulos da câmera de onde as fotos foram tiradas e, em seguida, apenas  dezenas de milissegundos para que uma cena 3D seja renderizada. 

Um exemplo é essa cena 3D feita pela própria NVIDIA. É uma recriação do artista americano dos anos 60 Andy Warhol tirando uma foto com uma Polaroid, feita como uma homenagem aos primórdios da fotografia:

Claro, ainda existem algumas limitações em relação à tecnologia, como o fato de que as imagens precisam ser tiradas com uma velocidade de obturador mais rápida, pois fotos com movimento visível resultarão em uma cena 3D embaçada. O exemplo da NVIDIA acima foi tirado no que parece ser um ambiente controlado, então considere isso talvez como um cenário melhor para a aparência de uma cena 3D feita pela tecnologia Instant NeRF.

A NVIDIA também divulga a tecnologia como sendo uma rede neural leve, capaz de rodar em uma única GPU NVIDIA (embora seja mais rápida em GPUs com Tensor Cores da NVIDIA). A NVIDIA também listou alguns casos de uso em potencial dessa tecnologia, como treinar robôs e carros autônomos para entender o tamanho e a forma de objetos do mundo real usando apenas imagens e vídeos, além de recriar ambientes 3D para arquitetura e entretenimento.

fonte: https://www.hardwarezone.com.sg/tech-news-nvidia-instant-nerf-rendering-model-turns-images-3d-scenes