Roblox 在 2024 年 SIGGRAPH 大會上發表的 3D 和 4D 突破
Roblox 持續不懈地研發創新，打造 3D 沉浸式平台，讓數以百萬的創作者能夠製作虛擬人偶、飾品和體驗，並讓全世界的人們能夠彼此交流聯繫。
在全球首屈一指的電腦圖形和互動技術大會 SIGGRAPH 上，我們將分享技術和演算法方面的最新突破。 我們要分享的成果包括能讓 3D 材質像橡膠一樣拉伸的新方法、可更快速打造具有臉部動畫的虛擬人偶的方式，還有讓頭髮動態更逼真的新方法。 這些都是能強化未來沉浸式 3D 技術的重要理論成果與早期原型。 加入 SIGGRAPH 在丹佛舉行的會談，一同了解完整的技術詳情。
細節程度不斷提升的虛擬人偶
虛擬人偶是 Roblox 上自我表達的核心，具有完整的臉部動畫、可設定的身體、多層次穿搭，還有跨平台一致的外觀。 根據我們最近的數位自我表達報告，Z 世代的受訪者中有 88% 的人表示在 Roblox 等元宇宙世界表達自我，有助於他們在日常生活中更自在地展現自我。 為了支持這種自我表達的行動，我們不斷推動最先進的虛擬人偶技術發展。
傳統上以 3D 網格打造全新虛擬人偶時，需要經歷多個技術要求相當高的工作階段。 這是 4D 時代的一個挑戰：將靜態 3D 素材延展為完全可動、具互動性且可組合的內容，使其能在元宇宙體驗中栩栩如生地呈現。 打造一個虛擬人偶涉及的作業階段，包括圍籠生成、骨架和蒙皮，即使是專業創作者也可能要花一星期的時間才能完成。 接著還有其他工作需要進行，以確保虛擬人偶和我們平台進階服裝與臉部表情功能間的相容性。
在 Roblox 虛擬人偶和 CoreAI 團隊發表的演講「生成式或使用者自建 3D 虛擬人偶的端對端身體與臉部自動化設定」中，他們提出了一種結合機器學習和幾何處理技術的多階段工作流。 這個方法大幅加快了打造虛擬人偶的速度並大幅降低了複雜度，且能夠讓經驗較不足的創作者設計並上傳屬於自己可完整運作的虛擬人偶。
您可在平台上透過虛擬人偶自動設定來體驗這項技術帶來的影響，這個自動化系統能將只有幾何的輸入模型轉換為與 Roblox 相容、可自訂、可供動畫使用、已綁定骨架且已蒙皮的虛擬人偶。 有了此系統後，原本需耗費一星期的程序現在幾分鐘內就能完成。
使用者在 Roblox 上很喜歡用來表達自我的其中一個方式就是變更自己虛擬人偶的髮型。 光是在 2023 年，Roblox 使用者就購買了超過 1 億 3,900 萬件髮型，且有 730 萬使用者購買了五種以上的髮型。 不過要呈現逼真的髮型，就要讓每條髮絲的移動都如在真實世界一般，這非常具有挑戰性。 平均來說，每個人類的頭皮上都有 10 萬至 15 萬個毛囊。 不論是在運算效率還是穩定性層面，要模擬、儲存並傳輸如此大規模的複雜幾何圖形都很困難。
Roblox 的 Cem Yuksel 和他在 LightSpeed Studios 與猶他大學的同事們在論文〈Real-time Physically Guided Hair Interpolation〉（即時物理引導毛髮插值法）中，提出一種創新的物理導向毛髮插值方案，這個方案會運用現有模擬的引導毛髮資料。 這項成果大幅提升了髮絲渲染的視覺品質，且幾乎不會增加額外負擔。
寫實 3D 模擬和渲染
Roblox 創作者不僅創作了使用者可加入遊玩或與他人互動的體驗，也創作出豐富這些體驗內容的物件。 隨著 Roblox 登上更多平台，舉凡解析度較低的 Android 機型到高解析度的遊戲主機或 VR 頭戴式裝置，在使用者的裝置上盡可能以最佳解析度呈現這些物件非常重要。
光線和陰影常會對 3D 渲染帶來挑戰。 最近的研究已取得了大幅進展，但現有的作法可能會因景深和反鋸齒等相機效果而有模糊的感覺。 在與 NVIDIA 和猶他大學合作後，Roblox 的 Cem Yuksel 提出了「Area ReSTIR: Resampling for Real-Time Defocus and Antialiasing」（區域 ReSTIR：針對即時散焦和反鋸齒的重新取樣）。這項成果對 ReSTIR 引進了區域採樣，能更有效地解決這些相機效果。 在最終結果上，我們能看到光線和陰影間的清晰度有所改善、細節更豐富，所需的採樣也更少。
使用舊版 ReSTIR 呈現的街景。
使用新的區域 ReSTIR 呈現的相同街景，光線和陰影都有所改善。
在論文〈A Unified Differentiable Boolean Operator with Fuzzy Logic〉（結合模糊邏輯的一體式可微分布林運算符）中，Roblox 的 Hsueh Derek Liu 和同事們提出一套方法，讓生成式 AI 能夠用於建構實體幾何（CSG）的 3D 表示方式。 Roblox 物理模擬器的穩定性源自透過 CSG 實現的工程設領域實體建模技術，這同時也簡化了創作逼真虛擬圖形的過程。 娛樂產業中的薄表面建模更加常見，但那不會考慮物體內部的體積。 CSG 之前與生成式 AI 不相容，因為針對幾何訓練和套用 AI 時，微分步驟需要一種類似於形狀連續演變的數學屬性。 透過發明一種新的數學原型來執行「模糊」作業，我們實現了可微分的 CSG，並藉此打造出 CSG 生成式 AI。
在電腦圖形中，精準模擬橡膠等彈性材質是一項眾所皆知的挑戰。 Roblox 的 Liu 和同事們提出了「更穩定的 Neo-Hookean 模擬 — 投影牛頓法的絕對特徵值濾波」，這是一種讓模擬更穩定的創新方法。 這個新方法只需要在現有框架上修改一行程式碼，就能在穩定性和收斂速度上取得顯著的提升。 導出的模型在拉伸時能保持更穩定的形狀。
過往的一般模擬方法需要在模擬的逼真程度和所需的計算資源之間取捨。 Roblox 的 Yuksel 和猶他大學的同事們提出了頂點區塊下降法，這種創新的方法能產生快速且穩健的物理模擬。 此方法比以前的 3D 動態模擬過程更快速且更穩定。
近二十年來，Roblox 在研發上投入大量資源與心力，讓我們的平台和平台上蓬勃發展的社群得以從技術創新中獲得助益。 偉大的研發作業需要承受風險並以誠實的眼光進行評估。 我們的研發調查工作並非全部都能以合適的形式或在合適的時機成為可推出的功能，但本文所描述的研究仍具有探索性和前瞻性。 我們很高興本文中描述的一些新技術已成為 Roblox 創作者可使用的工具，讓大家能創造出更真實的虛擬人偶和 3D 世界。 所有的研究工作都將一步步讓這整個領域向前邁進，並推進 3D 沉浸式平台的技術。
我們很高興能在 2024 年 SIGGRAPH 大會上與全世界分享有關 AI、虛擬人偶、物理和圖形的一系列新進展。