Roblox arbeitet unermüdlich an Innovationen, um eine immersive 3D-Plattform aufzubauen, auf der Millionen von Creator:innen Avatare, Accessoires und Erlebnisse erschaffen, die es Menschen auf der ganzen Welt ermöglichen, sich miteinander zu verbinden.

Auf der SIGGRAPH, der weltweit führenden Konferenz für Computergrafik und interaktive Techniken, werden wir neue technologische und algorithmische Durchbrüche vorstellen. Die von uns vorgestellte Arbeit umfasst neue Methoden, um 3D-Materialien zu erzeugen, die sich wie Gummi dehnen können, einen schnelleren Weg, um Avatare mit Gesichtsanimation zu produzieren, und Haare, die sich lebensechter bewegen. Zusammengenommen sind dies starke theoretische Ergebnisse und frühe Prototypen, die die Zukunft des immersiven 3D ermöglichen. Besuche unsere Vorträge auf der SIGGRAPH in Denver, um alle technischen Details zu erfahren.

Immer detailliertere Avatare

Avatare sind das Herzstück des persönlichen Ausdrucks auf Roblox – sie verfügen über vollständige Gesichtsanimationen, konfigurierbare Körper, mehrschichtige Kleidung und ein einheitliches Erscheinungsbild auf der gesamten Plattform. Unser aktueller Digital Expressions Report hat ergeben, dass 88 Prozent der Befragten der Generation Z angeben, dass Metaverse-ähnlichen Welten wie Roblox ihnen vermutlich geholfen haben, sich in ihrem wahren Leben besser ausdrücken zu können. Um diesen Selbstausdruck zu unterstützen, entwickeln wir die Avatar-Technologie ständig weiter.

Die Erstellung eines neuen Avatars aus einem 3D-Mesh erfordert traditionell mehrere Stufen hochtechnischer Arbeit. Das ist eine der Herausforderungen der 4D-Generierung: statische 3D-Objekte so zu erweitern, dass sie vollständig dynamisch, interaktiv und kombinatorisch sind und in einem Metaverse-Erlebnis zum Leben erweckt werden können. Die damit verbundenen Arbeitsschritte, wie das Caging, das Rigging und das Skinning, können selbst für professionelle Creator:innen bis zu einer Woche pro Avatar in Anspruch nehmen. Zusätzliche Arbeit ist dann erforderlich, um die Kompatibilität mit den fortschrittlichen Kleidungs- und Gesichtsausdrucksfunktionen unserer Plattform sicherzustellen.

In ihrem Vortrag “End-to-end Automatic Body and Face Setup for Generative or User-Created 3D Avatars” (Durchgängige automatische Körper- und Gesichtserstellung für generative oder von Benutzer:innen erstellte 3D-Avatare) stellen die Teams von Roblox Avatar und CoreAI eine mehrstufige Pipeline vor, die maschinelles Lernen und Geometrieverarbeitungstechniken kombiniert. Diese Methode macht den Prozess der Avatarerstellung deutlich schneller und einfacher und ermöglicht es auch weniger erfahrenen Creator:innen, ihre eigenen voll funktionsfähigen Avatare zu entwerfen und hochzuladen.

Du kannst die Auswirkungen dieser Technologie auf der Plattform über die automatische Avatar-Erstellung erleben, ein automatisiertes System, das ein eingegebenes Modell, das nur aus Geometrie besteht, in einen Roblox-kompatiblen, anpassbaren, animationsbereiten Avatar mit Rigging und Skinning umwandelt. Mit diesem System kann ein Prozess, der früher bis zu einer Woche dauerte, jetzt in wenigen Minuten abgeschlossen werden.

Eine beliebte Möglichkeit, sich auf Roblox auszudrücken, ist das Ändern der Haare des Avatars. Allein im Jahr 2023 haben Roblox-Benutzer:innen mehr als 139 Millionen Frisuren gekauft, und 7,3 Millionen Benutzer:innen haben fünf oder mehr Frisuren gekauft. Aber eine realistische Frisur zu erzielen, bei der sich jede Strähne wie in der realen Welt bewegt, ist extrem schwierig. Im Durchschnitt hat die menschliche Kopfhaut zwischen 100.000 und 150.000 Haarfollikel. Die Simulation, Speicherung und Übertragung komplexer Geometrien in diesem Umfang ist sowohl in Bezug auf die Rechenleistung als auch auf die Robustheit eine Herausforderung.

In ihrer Arbeit “Real-time Physically Guided Hair Interpolation” (Physikalisch geführte Haarinterpolation in Echtzeit) stellen Cem Yuksel von Roblox und seine Kolleg:innen von LightSpeed Studios und der University of Utah ein neuartiges physikalisch gesteuertes Haarinterpolationsverfahren vor, das bestehende simulierte Führungshaardaten nutzt. Diese Arbeit verbessert die visuelle Qualität des Haar-Renderings für Erlebnisse erheblich, und das fast ohne Overhead.

Realistische 3D-Simulation und Rendering

Die Creator:innen von Roblox schaffen nicht nur die Erlebnisse, denen die Menschen beitreten, um zu spielen oder sich zu verbinden, sondern auch die Objekte, die diese Erlebnisse beleben. Da Roblox auf immer mehr Plattformen verfügbar wird, von einem Android-Gerät mit niedrigerer Auflösung bis hin zu einer hochauflösenden Spielkonsole oder einem VR-Headset, ist es wichtig, dass diese Objekte auf dem Gerät der Benutzer:innen in der bestmöglichen Auflösung dargestellt werden können.

Licht und Schatten stellen oft eine Herausforderung für das 3D-Rendering dar. Die Forschung hat in letzter Zeit große Fortschritte gemacht, aber bei den bestehenden Methoden kann es zu Unschärfen durch Kameraeffekte wie Tiefenschärfe und Antialiasing kommen. In Zusammenarbeit mit NVIDIA und der University of Utah präsentiert Cem Yuksel von Roblox “Area ReSTIR: Resampling for Real-Time Defocus and Antialiasing” (Area ReSTIR: Resampling für Defokussierung und Antialiasing in Echtzeit). Diese Arbeit führt Area Sampling in ReSTIR ein, das diese Kameraeffekte effizienter auflöst. Das Ergebnis sind eine bessere Abgrenzung zwischen Licht und Schatten und mehr Details, wobei weniger Samples benötigt werden.

Eine Straßenszene mit der vorherigen Version von ReSTIR.

Die gleiche Straßenszene mit unserem neuen Area ReSTIR, mit Verbesserungen bei Licht und Schatten.

In ihrer Arbeit “A Unified Differentiable Boolean Operator with Fuzzy Logic” (Ein einheitlicher differenzierbarer boolescher Operator mit unscharfer Logik) stellen Hsueh Derek Liu und Kolleg:innen von Roblox eine Methode vor, die generative KI für 3D-Darstellungen der konstruktiven Festkörpergeometrie (CSG) ermöglicht. Der Roblox-Physiksimulator bezieht seine Robustheit aus der Festkörpermodellierung der Maschinenbauindustrie mittels CSG, die auch die Erstellung plausibler virtueller Formen vereinfacht. In der Unterhaltungsindustrie ist die Modellierung von dünnen Oberflächen gebräuchlicher, die jedoch nicht das Volumen im Inneren eines Objekts darstellt. CSG war bisher nicht kompatibel mit generativer KI, da der Differenzierungsschritt des Trainings und der Anwendung von KI auf Geometrie eine mathematische Eigenschaft erfordert, die der kontinuierlichen Evolution von Formen ähnelt. Durch die Erfindung eines neuen mathematischen Primitivs zur Durchführung von “unscharfen” Operationen haben wir die differenzierbare CSG erschlossen und daraus eine generative KI entwickelt.

Elastische Materialien wie Gummi genau zu simulieren, ist in der Computergrafik eine große Herausforderung. Liu und Kolleg:innen von Roblox präsentieren mit Stabler Neo-Hookean Simulation – Absolute Eigenvalue Filtering for Projected Newton eine neue Methode zur Stabilisierung der Simulation. Die neue Methode erfordert nur eine einzige Zeile Codeänderung im bestehenden Framework und erzielt eine deutliche Verbesserung der Stabilität und Konvergenzgeschwindigkeit. Die resultierenden Modelle behalten eine stabilere Form, wenn sie gedehnt werden.

Bisherige allgemeine Simulationsmethoden erforderten einen Kompromiss zwischen dem Realismus der Simulation und den erforderlichen Rechenressourcen. Yuksel von Roblox und seine Kolleg:innen von der University of Utah stellen mit Vertex Block Descent eine neuartige Methode vor, die sowohl schnelle als auch stabile Physiksimulationen ermöglicht. Die daraus resultierende Methode ist schneller und stabiler als bisherige Simulationsverfahren für 3D-Dynamik.

Seit fast zwei Jahrzehnten werden unsere Plattform und die darauf florierende Community dank der hohen Investitionen von Roblox in Forschung und Entwicklung durch technische Innovationen gestärkt. Gute F&E erfordert Risiko und ehrliche Bewertung. Nicht alle unsere F&E-Untersuchungen führen zu Ergebnissen, die die richtige Form haben oder zum richtigen Zeitpunkt entwickelt werden, um als Produktfunktionen eingesetzt zu werden, und die in diesem Artikel beschriebene Arbeit ist spekulativ und zukunftsorientiert. Wir freuen uns jedoch, dass einige der hier beschriebenen neuen Techniken bereits Teil von Tools sind, die den Roblox-Creator:innen zur Verfügung stehen und realistischere Avatare und 3D-Welten ermöglichen. Alle Untersuchungen sind Schritte, um das Feld als Ganzes und die Technologie für immersive 3D-Plattformen voranzubringen.

In den Bereichen KI, Avatare, Physik und Grafik freuen wir uns darauf, auf der SIGGRAPH 2024 eine Reihe neuer Fortschritte mit der Welt zu teilen.