Gaussian Splatting 3D

¿Cómo funciona el Gaussian Splatting 3D?

El Gaussian Splatting representa una escena 3D como millones de partículas, o gaussianas 3D, cada una de las cuales tiene forma de elipsoide (una elipse 3D), con una opacidad que disminuye a medida que aumenta la distancia desde el centro de cada gaussiana 3D.

Cada gaussiana 3D tiene sus propios parámetros únicos, como la posición 3D, la orientación, la escala 3D, la opacidad y el color dependiente de la vista. Para renderizar estas partículas de manera eficiente, se convierten al espacio 2D ("splatted") y luego se organizan/clasifican para un renderizado de alto rendimiento.

Para generar una escena, se compara una imagen renderizada con la imagen real desde la misma posición de la cámara (rotación y posición de la cámara), y el error entre estas imágenes se propaga hacia atrás a través del modelo para actualizar los parámetros asociados con cada gaussiana 3D, junto con las posiciones de la cámara.

Al iterar miles de veces a través de las imágenes de referencia proporcionadas por el usuario, la escena se ajusta gradualmente para coincidir con las imágenes de entrada reales. Esto es similar a la forma en que la IA entrena un modelo: el renderizado es entonces el paso hacia adelante.

De esta manera, la escena no solo parece fotorrealista desde las posiciones proporcionadas, sino también desde otras posiciones nuevas, porque la geometría 3D ha sido capturada por las gaussianas 3D a través de este proceso de entrenamiento por escena.

¿En qué se diferencian los Gaussian Splats de los NeRF?

Los NeRF, o campos de radiancia neuronal, son otra técnica de reconstrucción 3D que difiere del Gaussian Splatting en varios aspectos, lo que conlleva importantes implicaciones de uso. Dado que los NeRF dependen de que la red neuronal resultante sea consultada numerosas veces para renderizar cada punto de vista de la escena, es más difícil transmitir gradualmente fragmentos más pequeños de la escena de la forma en que lo hace el Gaussian Splatting.

Por lo tanto, para el usuario final, los Gaussian Splats se pueden renderizar en tiempo real en su dispositivo, ya que la técnica no requiere consultar redes neuronales, sino que utiliza entidades geométricas físicas (gaussianas 3D) que permiten este tiempo de renderizado más rápido.

Además, dado que los Gaussian Splats son más recientes que los NeRF, existe un mayor potencial para que esta técnica mejore aún más. ¡Estamos entusiasmados de formar parte de esta nueva frontera!

¿En qué se diferencia el Gaussian Splatting de la fotogrametría tradicional?

El Gaussian splatting generalmente requiere más recursos informáticos que la fotogrametría tradicional porque implica entrenar un modelo (millones de gaussianas 3D) a lo largo de miles de iteraciones por escena.

Los métodos tradicionales de fotogrametría son elaborados cuidadosamente por el diseñador del algoritmo mediante un enfoque paso a paso orientado a tareas, que no requiere las numerosas iteraciones que sí necesita el splatting, a excepción de la parte de estructura a partir del movimiento (SFM).

La estructura a partir del movimiento (SFM) implica encontrar las posiciones de la cámara y algunos puntos 3D en el objeto, y puede requerir una cantidad considerable de potencia de cálculo. SFM es el primer paso tanto en el splatting como en los métodos tradicionales de fotogrametría.

Todo esto significa que el splatting suele ser mejor para recrear escenas que contienen geometrías delgadas, superficies reflectantes y otros sujetos tradicionalmente difíciles. ¡Pruébelo usted mismo!