Robloxの旅路 - 4D生成AIを目指して

作：主任科学者、モーガン・マグワイア

公開日2024/06/17

Robloxは単なる3Dオブジェクトを超えてダイナミックな干渉を可能にする4D生成AIを作ろうとしています。
4Dの課題を解決するには、外見・形状・物理・スクリプトすべてをマルチモーダルに理解する必要があります。
4Dシステムの基礎となる初期のツールはすでにプラットフォームで制作を加速させています。

クリエーターがアイデアを形にするために必要なツール、サービス、サポートを提供することで、Robloxはバーチャル空間やアバター、アクセサリーといった3D制作を支えてきました。クリエーターが制作した豊かなコンテンツが一日あたり7700万人のアクティブユーザーを発生させています（2024年第1四半期時点）。 Robloxのワークフロー向けに設計され、Roblox特有のコンテンツで学習させた生成AIツール群が無料ソフトRoblox Studio内で提供されます。

プロから初心者まで、簡単に、効率的に、楽しく制作できるようになるツール群です。 3Dワークスペースの編集を可能にするアシスタント。顔と体のモーションをキャプチャできるアニメーションキャプチャ。スクリプト編集と制作を補助するコードアシスト。マテリアルのタイリングで外見を生成できる素材生成器。アセットごとのテクスチャマッピングが可能なテクスチャ生成器。それぞれの生成AIツールが3D制作プロセスを補助してくれます。

組み合わせることでクリエーターのスキルを補完してくれるので、短い時間でアイデアを形にできます。ツールの制作にあたっては独自の先端研究を活用するとともに、広大なAIエコシステムから最良のソリューションを取り入れました。スクリプトの制作は1D、平面アセットの制作は2D、空間の場合は3Dと呼ばれています。 Roblox開発者会議など様々な国際研究会議で、Robloxの3D形状生成・編集ラボが示した成果の一部を披露しています。

業界において1Dと2Dの生成は最新技術、3Dの生成はまさに最先端です。激しい技術革新が続く中、それぞれが困難な挑戦になっています。私たちの生きる3D空間は究極の生成AI課題と言えます。ですがコミュニティの望みを叶えるため、さらなる高みを目指していきます。

私たちの現状

私たちは4D生成AIを作っています。4番目の次元は相互作用です。オンラインプラットフォームとしてのRobloxの強みは人とオブジェクト、環境が相互作用する場であること。従来のオンラインゲームと異なり、Robloxの高性能なランタイムエンジンは相互作用を重視した独自のプログラムとシミュレーションモデルを活用しています。限られた方法だけでなく複雑で多様、自然な形で要素同士が出会う。このようなメタバースの概念に私たちのモデルはインスパイアされています。

1D、2D、3D生成AIツールは個別のアセットを生成します。それぞれのアセットをプラットフォームに適合させ、自由な相互作用を可能にすることが4D生成AIにおける課題です。つまり、アバターは形と色だけで構成されたものではないということです。スケルトン、アニメーション、ツールを手にとりバランスをとる能力が必要です。専用にデザインされた衣装でなくともサイズを自動調整して着用し、あらゆるモーションに対応できることが求められます。新しいアバターの自動設定ツールは生成AIがこのタイプの制作をいかに自動化して補助できるか示した初期の実例です。何時間あるいは何日もかかる作業が数分で完了するようになります。

おしゃれな形とペイントがあればスポーツカーというわけではありません。バーチャルな道路を正確に走り抜けるためには、エンジン、動作するパーツ、物理リグが必要です。どの場合でもオブジェクトは3Dから拡張され、あらゆるパーツが物理法則によって相互作用し、アバターを介したユーザーとのやり取りが可能になります。

生成AIが各要素のスタイルを調和させ、オブジェクトと環境との間の相互作用性を補完することで、このような豊かでインタラクティブな4D要素を大規模な環境にも取り入れることが可能です。例えばユーザーはアバターを介して車に乗り込み、ストリートレースに参加（ダメージ計算とハイスコアに対応）。新しい服で勝利を祝うため、ブランドショップに立ち寄ります。

このようなバーチャル空間の制作にはスクリプト、ワークスペース、データモデル構造、3Dモデル、アニメーション、各種素材などを手動で作り込む必要がありました。これからは生成AIツールが様々な部分を担うことができます。私たちが現在作っているのは、あらゆる要素を接続させ同時に生成できるシステムです。この実現のためにはマルチモーダルな（複数のデータタイプにまたがる）形で4D生成AIシステムを学習させる必要があります。画像とテキストの場合は対応済みで、素材生成器が誕生しました。相互作用を可能にして、物理演算に特化した最適化システムを取り入れることで新たな4Dの地平に到達できるでしょう。

昨年にはRobloxにおけるコンテンツの作られ方に大きな変化がありました。コマンドを入力したり声に出すだけで、誰でもどこでもアイデアを形にできる未来。そこに向かうために、待ち受ける挑戦に立ち向かわなければならないのです。

待ち受ける挑戦

先ほど紹介した実験は近い将来実用化されるでしょう。さらに、私たちの前には3つの課題があります。

1. 機能性: 次世代の生成AIツールで作成されたオブジェクトは機能しなければなりません。トラックや飛行機に形状が設定されていれば、システムはそれをハリボテの3Dオブジェクトとして扱ってはいけません。クリエーターの操作がなくとも、ジョイントが必要なパーツや開くべき部分のメッシュをシステムが自動検知できるようにします。

正しい車輪の配置を特定し、現実と同じように車両が動作するべく車軸を追加する。さらにドアの位置も特定し、隙間を空け、ドアの開け閉めに対応させるためヒンジを追加する — このような課題を解決できる、人間に近いレベルのAIが必要とされます。

2. 相互作用性: 次世代の生成AIツールで作成されたアイテムは個別に機能するだけでなく、環境内の他のオブジェクトと相互作用しなければいけません。開閉可能なドア、回転する車輪を備えた車を作成させた場合、システムは車が置かれた環境の物理を理解する必要があります。どのように地形の上を車両が移動するか。岩に衝突した場合、岩の大きさや衝突スピードに応じてどのような被害が生じるか — といった具合です。

作成されたオブジェクトと、干渉先の環境やオブジェクトとの物理学的関係性を理解する必要があり、複雑な課題となります。幸いにしてRobloxの得意な領域です。物理エンジンをベースにしているため、バーチャル空間内のあらゆるオブジェクトは物理演算可能です。生成AIが4Dオブジェクトを作成する際、素材や質量、強度などの物理的特性が追加されるでしょう。他のオブジェクトと物理的に作用できるようにするためです。

3. 制御性: 私たちは現状、生成AIにプロンプトを通じて働きかけています。これは不完全な科学であり、宝探しゲームのようなものです。例えば、「うさぎ」の画像を出力させようとした場合の結果は様々です。本物のようなうさぎから、チョコレートのイースターバニー、デフォルメされたうさぎ、うさぎの絵画、コートを着たうさぎのイラストなど。そこで「写真のような」「～風の画像」などプロンプトを整え、脳内のイメージを伝えることになります。理想の結果が得られるまで繰り返すことになり、時間がかかります。

上記の例のトラックのように、機能して相互作用可能な3Dオブジェクトにもこの流れをやるとしたらどうでしょうか。このレベルのプロンプト設定は非常に複雑で、誰でも簡単にとはいきません。アイデアを形にできるようにするため、高速かつ気軽にAIアシスタントと対話し、洗練させ、何より共同作業する方法が必要です。運任せにするのではなく、彼らをパートナーにするのです。

これは業界レベルの挑戦で、生成AIを制御すべく多くの企業が奮闘しています。今のところ私たちも成果は上げられています。テキストプロンプトだけでなく追加の条件を設定できるControlNetなどのツールです。現在は、満足のいくワークフローを確実に示せるような他の方法を模索しているところです。例えば重要なステップでAIをポーズさせ、ユーザーの入力を待機させるといった方法です。しかしシームレスな体験を構築するには長い道のりが必要でしょう。

私たちがこれまで与えてきた影響については喜ばしく思いますし、これから先にも期待が高まっています。素材生成器のベータ版を使わなかった場合と比べて、素材生成器を使ったクリエーターは物理ベースレンダリングを使用した様々なマテリアルの利用量が倍以上に上昇。2023年3月時点では1000程度だったのが2024年6月には2000を超えました。 2024年6月2日時点で、クリエーターはコードアシストによって提案されたコードを5億3500万文字近く採用しました。

Robloxが4D生成を目指して奮闘すればクリエーターの制作も高速化して、多くのコンテンツを作れるようになります。多くの人がクリエーターになれるようになれば、バーチャル空間の多様性にも期待できます。彼らが何を作るか、どのように作るか観察することで新ツールやAIアルゴリズムのどこに重点を置けばいいかわかります。既存のコミュニティも新人クリエーターも支えられます。

4D生成AIでRobloxはバーチャル空間とアセット制作に新たな地平を拓きます。これは新たな挑戦ですが、イノベーションに向かう準備は万端です。一流の研究開発チームが内部にいます。大学との研究協力も可能で、コミュニティと連携すればすぐにプロトタイプを実験できます。総力をあげて取り組みたいですね。