Gaussian Splatting ist ein spannendes neues Rendering-Verfahren, das sich hervorragend für die Erstellung lebensechter, natürlich wirkender 3D-Szenen und -Objekte eignet – stellen Sie es sich wie ein 3D-Foto vor. Erfahren Sie mehr über Splatting und probieren Sie es selbst aus!
Gaussian Splatting kann glänzende, reflektierende Objekte sowie lange und dünne Details effektiv rendern. Splatting eignet sich zudem hervorragend für die Erfassung großer, weitläufiger Räume, ohne dabei kleinere Details zu vernachlässigen.
Mit Polycam profitieren Sie von zusätzlichen Funktionen, darunter:
„Ich wollte Gaussian Splatting für meinen Kurzfilm ausprobieren, habe ein eineinhalbminütiges Video mit meinem iPhone aufgenommen und es in Polycam hochgeladen – die Ergebnisse waren wirklich beeindruckend“
Was ist Gaussian Splatting?
Gaussian Splatting ist ein Rasterisierungsverfahren für die 3D-Rekonstruktion und das Rendering. Im Wesentlichen handelt es sich um eine Methode zur Erstellung fotorealistischer Szenen aus einer Auswahl von Bildern.
Ein aktuelles wegweisendes Forschungspapier von Wissenschaftlern des Inria (Université Côte d'Azur) und des Max-Planck-Instituts beschreibt einen Prozess zur Generierung der für 3D Gaussian Splatting benötigten Daten aus einer Reihe von Bildern.
Für Endnutzer bedeutet dies, dass hochwertige Renderings von Objekten oder Räumen ausgegeben werden können, die mit anderen Methoden nicht so originalgetreu dargestellt werden könnten.
Wie erstelle ich einen Gaussian Splat?
Sie können direkt auf dieser Seite eine Gaussian-Splatting-Rekonstruktion erstellen! Tippen Sie oben auf die Schaltfläche „Erstellen“ und folgen Sie den Anweisungen, um ein Konto bzw. Profil einzurichten.
Ihr Bilderset sollte zwischen 20 und 200 Bilder im PNG- oder JPG-Format umfassen, und Ihre Videodatei sollte im MP4-Format vorliegen. Im Allgemeinen führt die Verwendung von mehr Bildern zu einer hochwertigeren Szene. Je mehr Bilder aus verschiedenen Winkeln und Perspektiven vorhanden sind, desto besser ist in der Regel das Ergebnis.
Für die besten Ergebnisse sollte Ihr Bilderset den allgemeinen Best Practices der Photogrammetrie folgen. Bei Gaussian Splatting ist es wichtig, dass Ihre Bilder oder Videos nur minimale Bewegungsunschärfe oder Effekte mit geringer Schärfentiefe (Bokeh) aufweisen. Bei geringer Schärfentiefe, Bewegungsunschärfe oder anderen suboptimalen Effekten können Artefakte, sogenannte „Floaters“, entstehen, die die Qualität des Splats mindern.
Obwohl die Verarbeitung durch Polycam darauf ausgelegt ist, das Auftreten von „Floaters“ zu minimieren, führen gleichmäßig scharfe, gut beleuchtete Bilder, die alle Winkel des Objekts oder der Szene abdecken, zu den hochwertigsten Rekonstruktionen.
Drohnenbilder oder -videos von Objekten oder Landschaften eignen sich hervorragend! Wenn Sie eine Drohne von DJI besitzen, versuchen Sie es mit der Funktion „Point of Interest“, bei der die Drohne das Objekt in einem bestimmten Radius umkreist. Mehrere Durchgänge aus unterschiedlichen Entfernungen sollten zu exzellenten Bildersets oder Videos für die Erstellung von Splats führen!
Kann ich Splats in andere Software importieren?
Da Gaussian Splatting noch relativ neu ist, befindet sich die Unterstützung für die Verwendung in anderer 3D-Software noch in der Entwicklung. Plugins für Splats existieren bereits für Unity, Unreal und andere, wobei wöchentlich neue hinzukommen.
Im Vergleich zu anderen auf Strahlungsfeldern basierenden Techniken wie NeRFs lassen sich Gaussian Splats wesentlich einfacher in bestehende Renderer integrieren. Wir werden Updates veröffentlichen, sobald sie verfügbar sind.
Kann ich meine alten Polycam-Aufnahmen verwenden?
Ja! Wenn Sie noch die Rohdaten einer älteren Polycam-Aufnahme haben, können Sie die Rohbilder aus der Polycam-App exportieren und hier hochladen.
Wenn Sie ein iPhone verwenden, duplizieren Sie den alten Scan auf Ihrem iPhone und wählen Sie dann „Neu verarbeiten“ (Reprocess) mit Gaussian Splat aus.
Alternativ können Sie in der „Export“-Ansicht für eine einzelne Aufnahme nach unten zu „Rohbilder“ (raw images) scrollen und diese auswählen. Dadurch wird eine ZIP-Datei erstellt, die Sie an Ihren Computer senden können. Entpacken Sie die ZIP-Datei und laden Sie die Bilder hier hoch, um einen neuen Gaussian Splat zu generieren.
Wie funktioniert 3D Gaussian Splatting?
Gaussian Splatting stellt eine 3D-Szene als Millionen von Partikeln oder 3D-Gauss-Punkten dar, die jeweils wie ein Ellipsoid (eine 3D-Ellipse) geformt sind, wobei die Deckkraft mit zunehmendem Abstand vom Zentrum jedes 3D-Gauss-Punktes abnimmt.
Jeder 3D-Gauss-Punkt besitzt eigene, spezifische Parameter wie 3D-Position, Ausrichtung, 3D-Skalierung, Opazität und blickwinkelabhängige Farbe. Um diese Partikel effizient zu rendern, werden sie in den 2D-Raum konvertiert („gesplattet“) und anschließend für eine performante Darstellung sortiert.
Um eine Szene zu generieren, wird ein gerendertes Bild mit dem Referenzbild aus derselben Kameraposition (Rotation und Position der Kamera) verglichen. Der Fehler zwischen diesen Bildern wird durch das Modell zurückpropagiert, um die Parameter jedes 3D-Gauss-Punktes sowie die Kamerapositionen zu aktualisieren.
Durch Tausende von Iterationen mit den vom Benutzer bereitgestellten Referenzbildern wird die Szene schrittweise verfeinert, bis sie mit den Eingabedaten übereinstimmt. Dies ähnelt dem Training eines KI-Modells – das Rendering entspricht dabei dem Forward-Pass.
Auf diese Weise wirkt die Szene nicht nur aus den bereitgestellten Kamerapositionen fotorealistisch, sondern auch aus anderen, neuen Blickwinkeln, da die 3D-Geometrie durch den szenenspezifischen Trainingsprozess in den 3D-Gauss-Punkten erfasst wurde.
Wie unterscheiden sich Gaussian Splats von NeRFs?
NeRFs (Neural Radiance Fields) sind eine weitere 3D-Rekonstruktionstechnik, die sich in mehreren Punkten vom Gaussian Splatting unterscheidet, was erhebliche Auswirkungen auf die Anwendung hat. Da NeRFs darauf basieren, dass das resultierende neuronale Netz für jeden Blickwinkel der Szene mehrfach abgefragt werden muss, ist es schwieriger, die Szene schrittweise in kleineren Abschnitten zu streamen, wie es beim Gaussian Splatting möglich ist.
Für den Endanwender bedeutet dies, dass Gaussian Splats in Echtzeit auf dem eigenen Gerät gerendert werden können. Da die Technik keine Abfragen neuronaler Netze erfordert, sondern physische geometrische Einheiten (3D-Gauss-Punkte) nutzt, wird eine schnellere Rendering-Zeit ermöglicht.
Da Gaussian Splats zudem neuer sind als NeRFs, besteht ein größeres Potenzial, diese Technik noch weiter zu verbessern. Wir freuen uns, Teil dieser neuen Entwicklung zu sein!
Wie unterscheidet sich Gaussian Splatting von der traditionellen Photogrammetrie?
Gaussian Splatting erfordert im Allgemeinen mehr Rechenressourcen als die traditionelle Photogrammetrie, da beim Splatting ein Modell (bestehend aus Millionen von 3D-Gauss-Punkten) über Tausende von Iterationen pro Szene trainiert werden muss.
Traditionelle Photogrammetrie-Methoden werden vom Algorithmus-Entwickler in einem schrittweisen, aufgabenorientierten Ansatz sorgfältig konzipiert. Abgesehen vom Structure-from-Motion-Teil (SFM) erfordern sie nicht die zahlreichen Iterationen, die beim Splatting notwendig sind.
SFM umfasst die Bestimmung der Kamerapositionen sowie einiger 3D-Punkte des Objekts und kann eine beachtliche Rechenleistung erfordern. SFM ist der erste Schritt sowohl beim Splatting als auch bei traditionellen Photogrammetrie-Verfahren.
All dies bedeutet, dass Splatting bei der Rekonstruktion von Szenen mit feinen Geometrien, reflektierenden Oberflächen und anderen traditionell schwierigen Motiven in der Regel besser abschneidet. Probieren Sie es selbst aus!
Generieren Sie ein 3D-Modell aus einem 2D-Bild!
Erstellen Sie 3D-Modelle aus Drohnenaufnahmen
Erstellen Sie benutzerdefinierte 3D-Texturen
3D-Grundrisse erstellen und betrachten
360-Grad-Panoramen erstellen und betrachten
Erstellen und betrachten Sie 3D-Modelle von Objekten
Polycam für Apple Vision Pro ist da
3D-Modelle hochladen und teilen
3D-LiDAR-Modelle erstellen und betrachten
