• Roblox travaille sur l'IA générative en 4D, pour aller au-delà des objets en 3D isolés et proposer des interactions dynamiques.

• Le défi de la 4D nécessitera une compréhension multimodale de l'apparence, des formes, de la physique et des scripts.

• Les outils préliminaires fondamentaux pour nos systèmes en 4D ont déjà commencé à accélérer la création sur notre plateforme.

Roblox permet aux créateurs de produire des avatars, des accessoires et des expériences immersives en 3D en mettant à leur disposition les outils, les services et l'assistance dont ils ont besoin pour concrétiser leurs idées. C'est à ces créateurs que nous devons le magnifique contenu de notre plateforme, qui passionne plus de 77 millions d'utilisateurs actifs quotidiens (au premier trimestre 2024). Notre application gratuite Roblox Studio propose toute une série d'outils d'IA générative conçus spécifiquement pour la création sur Roblox et entraînés avec du contenu en lien avec Roblox.

Ces outils rendent la création plus simple, plus efficace et plus amusante, aussi bien pour les experts que pour les novices. L'assistant permet de créer des espaces de travail en 3D, la capture d'animation permet d'animer les corps et les visages, l'assistant de code aide à générer et modifier les scripts, le générateur de matériaux permet de modifier l'apparence des matériaux, et le générateur de textures permet de placer des textures adaptées aux éléments. Chacun de ces outils d'IA générative optimise un aspect du processus de création en 3D.

Dans leur ensemble, ils s'additionnent aux compétences des créateurs afin de réduire le temps nécessaire pour aller du concept au produit fini. Nous les avons créés en tirant parti de nos propres recherches de pointe et des meilleures solutions disponibles dans l'écosystème de l'IA. Ils permettent de créer des éléments individuels en 1D (scripts), 2D (surfaces) et 3D (espaces). Nous avons présenté quelques-uns des résultats de notre laboratoire de génération et de modification de géométrie en 3D dans plusieurs conférences de recherche internationales, dont la Roblox Developers Conference.

Dans l'ensemble du secteur, la 1D et la 2D ont atteint un niveau optimal, et la 3D est à la pointe de l'IA générative. Chacun de ces domaines représente un défi important qui nous pousse à réaliser des avancées techniques passionnantes. Comme l'espace dans lequel nous vivons est en 3D, on pourrait penser qu'il s'agit du défi ultime pour l'IA générative. Cependant, compte tenu des besoins de notre communauté, notre vision va encore plus loin que cela.

Où nous en sommes aujourd'hui

Nous travaillons sur l'IA en 4D ; la quatrième dimension, c'est l'interaction. La puissance de la plateforme en ligne de Roblox, ce sont les interactions entre les gens, les objets et les environnements. Contrairement à ceux des jeux vidéo en ligne traditionnels, les puissants moteurs de Roblox font appel à un modèle de programmation et de simulation unique axé sur l'interaction. Il s'inspire du concept de métavers, où les éléments se rencontrent en grand nombre dans des situations complexes et spontanées, et non dans des conditions prédéfinies et restreintes.

Les outils d'IA générative en 1D, 2D et 3D produisent des éléments individuels. Le défi de l'IA générative en 4D est de donner vie à ces éléments de sorte qu'ils puissent faire l'objet d'une multitude d'interactions adaptées à notre plateforme. Cela signifie par exemple qu'un avatar, ce n'est pas seulement un assemblage de formes et de couleurs ; c'est aussi un squelette, des animations, la capacité de prendre des objets et de rester en équilibre. L'avatar peut porter des vêtements qui n'ont pas été conçus spécialement pour lui, mais qui s'ajustent automatiquement pour lui aller à la perfection et suivre chacun de ses mouvements. Notre nouvel outil de configuration automatique de l'avatar montre bien comment l'IA générative peut automatiser ce genre de création. Ce processus qui prenait autrefois des heures voire des jours peut désormais être terminé en quelques minutes.

Une voiture de sport, ce n'est pas seulement une silhouette aérodynamique avec une couche de peinture ; il y a aussi le moteur, les éléments mobiles et la configuration physique qui lui permettent de s'élancer dans les rues virtuelles avec une grande précision. Dans chaque cas, l'objet va au-delà de la 3D pour interagir avec chacun de ses éléments via la physique, et avec un utilisateur via son avatar.

Chacun de ces éléments hautement interactifs en 4D peut être intégré à un grand environnement où l'IA générative harmonise le style de chaque élément et ajoute une prise en charge interactive entre les objets et l'environnement. Ainsi, un utilisateur peut, par l'intermédiaire de son avatar, participer à une course de rue avec des modificateurs de dégâts et des records, et s'arrêter devant une boutique de vêtements où il s'achètera une nouvelle tenue pour fêter sa victoire.

À l'heure actuelle, pour une expérience de ce genre, il faut créer manuellement le code source des scripts, l'environnement de travail, la structure du modèle de données, la géométrie en 3D, les animations et les matériaux. Nos outils d'IA générative actuels aident à chaque étape du processus. Nous sommes en train de bâtir un système qui reliera tous ces éléments entre eux et les générera simultanément. Pour ce faire, nous devons entraîner notre système d'IA générative en 4D de façon multimodale, c'est-à-dire que nous devons faire appel à plusieurs types de données. C'est déjà ce que nous faisons avec les images et le texte, qui sont utilisés pour le générateur de matériaux. La prise en charge des interactions et l'ajout d'optimisations spécifiques pour la physique nous permettront d'atteindre le stade supérieur de capacités en 4D.

Au cours de l'année passée, la façon dont le contenu est créé sur Roblox a beaucoup changé. Nous imaginons un avenir dans lequel toutes les personnes, où qu'elles se trouvent, pourront donner vie à une idée rien qu'en tapant ou prononçant une commande. Pour arriver à cela, nous avons quelques défis à relever.

Les défis qui nous attendent

Les expériences dont nous avons parlé plus haut seront disponibles dans un avenir proche. Pour pouvoir aller plus loin, nous allons devoir relever trois défis.

1. Fonctionnalité - Les objets produits par ce futur outil d'IA générative devront être fonctionnels. Il faut que le système reconnaisse un camion ou un avion à partir d'une forme en 3D et ne le traite pas comme un objet opaque et hermétique. Sans que le créateur intervienne, il doit automatiquement identifier les endroits où le maillage doit pouvoir s'ouvrir ou qui nécessitent des articulations.

C'est un problème de niveau humain que nos systèmes d'IA vont devoir résoudre : trouver le bon emplacement pour les roues, par exemple, puis ajouter un essieu pour qu'elles puissent tourner comme dans le monde réel. Identifier l'emplacement de la porte, pratiquer une ouverture et ajouter des charnières pour que la porte puisse s'ouvrir et se fermer.

2. Interactivité - Les objets devront pouvoir fonctionner de façon indépendante, mais aussi interagir avec les autres éléments de l'environnement. Maintenant que notre système nous a créé un camion avec une porte qui s'ouvre et qui se ferme et des roues qui tournent, il faut qu'il comprenne le monde physique dans lequel il se trouve. Comment le véhicule se déplace-t-il sur le terrain ? S'il percute un rocher, comment se déforme-t-il en fonction de la taille de l'obstacle et de la vitesse ?

Pour résoudre ce problème complexe, il faut que les objets et l'environnement comprennent la physique des éléments avec lesquels ils interagissent. Fort heureusement, Roblox a déjà une longueur d'avance dans ce domaine, étant donné que notre plateforme était à la base un moteur physique, ce qui signifie que tous les objets des expériences peuvent être physiques. Quand l'IA générative produira un objet en 4D, les propriétés physiques comme le matériau, la masse et la force seront également ajoutées afin de préparer les interactions avec les autres éléments physiques de l'environnement.

3. Contrôle - À l'heure actuelle, nous interagissons avec l'IA générative par le biais de commandes. Ce n'est pas une science exacte, et il faut procéder par tâtonnements. En demandant une image de lapin, on peut obtenir un vrai lapin, un lapin en chocolat, un lapin de dessin animé, un tableau de lapin ou le dessin d'un lapin portant un manteau. Alors, on affine les commandes, et on demande des images réalistes ou des images qui imitent un certain style afin de se rapprocher de la vision qu'on a en tête. Il faut du temps et de nombreuses tentatives pour s'approcher de ce que l'on recherche.

Imaginez le même processus pour un objet en 3D qui doit fonctionner et interagir avec d'autres éléments, comme le camion de l'exemple précédent. Les commandes deviendraient très complexes, et le système ne serait pas à la portée de tout le monde. Pour donner vie aux idées des créateurs, il faut une façon plus simple et plus rapide de communiquer et d'affiner, où l'on collabore réellement avec un assistant IA au lieu de devoir tâtonner.

C'est un défi pour l'ensemble du secteur, et beaucoup d'entreprises s'efforcent d'offrir davantage de contrôle sur l'IA générative. Nous avons fait des progrès dans ce domaine, avec notamment ControlNet, qui améliore le contrôle en permettant aux créateurs d'ajouter des conditions supplémentaires aux commandes textuelles. Nous sommes en train d'explorer d'autres méthodes qui pourraient offrir un flux de travail satisfaisant : par exemple, l'IA pourrait se mettre en pause après les étapes critiques pour demander d'autres commandes à l'utilisateur. Cependant, nous avons encore un long chemin à parcourir avant de pouvoir proposer une expérience optimale.

Nous sommes satisfaits de l'impact que nous avons vu jusqu'ici, et impatients de découvrir la suite. Les créateurs qui ont utilisé la bêta du générateur de matériaux ont plus que doublé leur utilisation des variations de matériaux avec rendu basé sur la physique : le chiffre est passé d'un peu plus de 1 000 en mars 2023 à plus de 2 000 en juin 2024. À la date du 2 juin 2024, les créateurs avaient accepté près de 535 millions de caractères de code suggérés par l'assistant de code.

À mesure que nous surmonterons les obstacles de la voie qui mène à la 4D, nos créateurs pourront produire toujours plus, plus rapidement. Nous nous attendons également à ce que la diversité des expériences Roblox augmente, car de plus en plus de personnes pourront devenir créateurs. En voyant ce qu'elles produisent et comment elles le produisent, nous saurons quels sont les nouveaux outils dans lesquels nous devons investir, et quels sont les algorithmes d'IA qui aideront ces nouveaux créateurs et l'ensemble de notre communauté à prospérer.

Avec l'IA générative en 4D, Roblox a repoussé les frontières de la création d'expériences et de contenu. Les défis qui se présentent à nous sont inédits, mais nos processus d'innovation sont bien rodés. Notre approche associe nos équipes de recherche et de développement d'élite, les collaborations universitaires et la production rapide de prototypes successifs en partenariat avec notre communauté.