Le Gaussian splatting est une nouvelle technique de rendu passionnante qui excelle dans la création de scènes et de sujets 3D réalistes et naturels ; imaginez une photographie en 3D. Apprenez-en plus sur le splatting et essayez-le par vous-même !
Le Gaussian splatting permet de rendre efficacement les objets brillants et réfléchissants ainsi que les détails longs et fins. Cette technologie excelle également dans la capture de grands espaces étendus sans sacrifier les détails plus petits.
Avec Polycam, vous bénéficiez de fonctionnalités supplémentaires, notamment :
« Je voulais essayer le Gaussian Splatting pour mon court-métrage. J'ai filmé une séquence d'une minute et demie avec mon iPhone et je l'ai intégrée dans Polycam ; les résultats sont vraiment impressionnants. »
Qu'est-ce que le Gaussian Splatting ?
Le Gaussian Splatting est une technique de rastérisation utilisée pour la reconstruction et le rendu 3D. Il s'agit essentiellement d'une méthode permettant de créer des scènes photoréalistes à partir d'un échantillonnage d'images.
Une récente étude révolutionnaire menée par des chercheurs de l'Inria (Université Côte d'Azur) et de l'Institut Max Planck décrit un processus permettant de générer les données nécessaires au Gaussian Splatting 3D à partir d'un ensemble d'images.
Pour les utilisateurs finaux, cela signifie qu'il est possible d'obtenir des rendus de haute qualité de sujets ou d'espaces qui ne pourraient pas être restitués aussi fidèlement par d'autres méthodes.
Comment créer un Gaussian Splat ?
Vous pouvez créer une reconstruction par Gaussian Splatting directement sur cette page ! Appuyez sur le bouton « Créer » ci-dessus et suivez les instructions pour configurer un compte ou un profil.
Votre jeu d'images doit contenir entre 20 et 200 images au format PNG ou JPG, et votre fichier vidéo doit être au format MP4. En règle générale, l'utilisation d'un plus grand nombre d'images permet d'obtenir une scène de meilleure qualité. Plus vous avez d'images prises sous différents angles et points de vue, meilleur sera le résultat.
Pour obtenir les meilleurs résultats, votre jeu d'images doit suivre les bonnes pratiques de photogrammétrie. Avec le Gaussian Splatting, il est important que vos images ou vidéos présentent un minimum de flou de bougé ou d'effets de faible profondeur de champ (bokeh). En présence de faible profondeur de champ, de flou de mouvement ou d'autres effets sous-optimaux, des artefacts appelés « flotteurs » peuvent être générés et réduire la qualité du splat.
Bien que le traitement de Polycam permette de minimiser la présence de « flotteurs » (artefacts), la prise d'images uniformément nettes et bien éclairées couvrant tous les angles du sujet ou de la scène produira des reconstructions de la plus haute qualité.
Les images ou vidéos de sujets ou de paysages prises par drone fonctionnent généralement très bien ! Pour les utilisateurs de drones DJI, essayez d'utiliser la fonction « Point d'intérêt » qui fait orbiter le drone autour du sujet à une distance donnée. Effectuer plusieurs passages à des distances différentes permet d'obtenir d'excellents jeux d'images ou vidéos pour créer des splats !
Puis-je importer des Splats dans d'autres logiciels ?
Le Gaussian Splatting étant relativement récent, sa prise en charge dans d'autres logiciels 3D est en cours de développement. Des plugins pour les splats existent déjà pour Unity, Unreal et d'autres, et de nouveaux sont publiés chaque semaine.
Comparé à d'autres techniques basées sur les champs de radiance comme les NeRF, les Gaussian Splats sont beaucoup plus faciles à intégrer dans les moteurs de rendu existants. Nous publierons des mises à jour au fur et à mesure.
Puis-je utiliser mes anciennes captures Polycam ?
Oui ! Si vous disposez toujours des données brutes d'une ancienne capture Polycam, vous pouvez exporter les images brutes depuis l'application Polycam et les télécharger ici.
Si vous utilisez un iPhone, dupliquez l'ancien scan sur votre appareil, puis sélectionnez « Reprocess » (Retraiter) en utilisant Gaussian Splat.
Sinon, dans la vue « Exporter » d'une capture individuelle, faites défiler jusqu'à « images brutes » et sélectionnez-la. Cela générera un fichier ZIP que vous pourrez envoyer sur votre ordinateur. Décompressez le fichier ZIP et téléchargez les images ici pour générer un nouveau Gaussian Splat.
Comment fonctionne le Gaussian Splatting 3D ?
Le Gaussian Splatting représente une scène 3D sous la forme de millions de particules, ou gaussiennes 3D, chacune ayant la forme d'un ellipsoïde (une ellipse 3D), avec une opacité décroissante à mesure que la distance par rapport au centre de chaque gaussienne 3D augmente.
Chaque gaussienne 3D possède ses propres paramètres uniques tels que la position 3D, l'orientation, l'échelle 3D, l'opacité et la couleur dépendante de la vue. Pour rendre ces particules efficacement, elles sont converties dans l'espace 2D (« splattées »), puis organisées/triées pour un rendu performant.
Afin de générer une scène, une image rendue est comparée à l'image de référence prise depuis la même pose de caméra (rotation et position), et l'erreur entre ces images est rétropropagée à travers le modèle pour mettre à jour les paramètres associés à chaque gaussienne 3D, ainsi que les poses de la caméra.
En effectuant des milliers d'itérations à partir des images de référence fournies par l'utilisateur, la scène est progressivement affinée pour correspondre aux images d'entrée. C'est similaire à la façon dont l'IA entraîne un modèle : le rendu correspond alors à la passe directe.
De cette façon, la scène semble photoréaliste non seulement à partir des poses fournies, mais aussi à partir d'autres poses inédites, car la géométrie 3D a été capturée par les gaussiennes 3D grâce à ce processus d'entraînement par scène.
En quoi les Gaussian Splats diffèrent-ils des NeRF ?
Les NeRF, ou champs de radiance neuronaux, sont une autre technique de reconstruction 3D qui diffère du Gaussian Splatting de plusieurs manières, ce qui entraîne des implications importantes en termes d'utilisation. Étant donné que les NeRF reposent sur l'interrogation répétée du réseau neuronal résultant pour rendre chaque point de vue de la scène, il est plus difficile de diffuser progressivement de petits segments de la scène comme le permet le Gaussian Splatting.
Ainsi, pour l'utilisateur final, les Gaussian Splats peuvent être rendus en temps réel sur son appareil, car la technique ne nécessite pas d'interroger des réseaux neuronaux, mais utilise des entités géométriques physiques (gaussiennes 3D) qui permettent ce temps de rendu plus rapide.
De plus, comme les Gaussian Splats sont plus récents que les NeRF, cette technique offre un potentiel d'amélioration encore plus grand. Nous sommes ravis de participer à cette nouvelle frontière !
En quoi le Gaussian Splatting diffère-t-il de la photogrammétrie traditionnelle ?
Le Gaussian splatting nécessite généralement plus de ressources de calcul que la photogrammétrie traditionnelle, car il implique l'entraînement d'un modèle (des millions de gaussiennes 3D) sur des milliers d'itérations par scène.
Les méthodes de photogrammétrie traditionnelles sont soigneusement conçues par le concepteur de l'algorithme selon une approche étape par étape axée sur les tâches, qui ne nécessite pas les nombreuses itérations du splatting, à l'exception de la partie consacrée à la structure à partir du mouvement (SFM).
La structure à partir du mouvement (SFM) consiste à déterminer les poses de la caméra et certains points 3D sur l'objet, ce qui peut nécessiter une puissance de calcul importante. La SFM est la première étape tant pour le splatting que pour les méthodes de photogrammétrie traditionnelles.
Tout cela signifie que le splatting est généralement plus efficace pour recréer des scènes contenant des géométries fines, des surfaces réfléchissantes et d'autres sujets traditionnellement difficiles. Essayez par vous-même !
Générez un modèle 3D à partir d'une image 2D !
Créez des modèles 3D à partir de prises de vue par drone
Créez des textures 3D personnalisées
Créez et visualisez des plans d'étage 3D
Créez et visualisez des panoramas à 360 degrés
Créez et visualisez des modèles 3D d'objets
Découvrez Polycam pour Apple Vision Pro
Importez et partagez des modèles 3D
Créez et visualisez des modèles 3D LiDAR
