• Roblox는 단일 3D 객체를 넘어 동적 상호작용을 가능하게 하는 4D 생성형 AI를 개발하고 있습니다. 

• 4D가 가진 과제를 해결하기 위해서는 외관, 도형, 물리학 및 스크립트 등에 걸친 다층적인 이해가 필요합니다.

• 우리의 4D 시스템의 토대가 되는 초기 도구는 이미 플랫폼에서의 창작을 가속화하고 있습니다.

Roblox는 크리에이터에게 도구, 서비스 및 지원을 제공함으로써 몰입감 넘치는 3D 체험과 아바타 및 액세서리를 제작하며 상상력을 펼칠 수 있는 역량을 뒷받침합니다. Roblox 플랫폼에서 만나볼 수 있는 다채로운 콘텐츠를 제작하는 것은 모두 이 크리에이터들이며, 덕분에 매일 약 7,700만 명 이상의 활성 사용자를 유치합니다(2024년 1분기 기준). 무료 Roblox Studio 앱을 통해 배포한 생성형 AI 도구는 Roblox 특정 콘텐츠로 훈련하여 Roblox 워크플로만을 위해 특별 제작되었습니다.

이 도구들은 전문가와 초보자 모두 더욱 쉽고, 효율적이며 재미있게 제작할 수 있게 해주죠. 어시스턴트 기능으로 3D 작업 공간을 편집할 수 있고, 애니메이션 캡처 기능은 얼굴 표정 및 신체 동작을 가능하게 합니다. 한편 코드 지원 기능은 스크립트 편집과 제작에 필요한 도움을 제공하고, 재질 생성기는 재질 외관의 타일링을 가능하게 하며, 텍스처 생성기는 애셋 특정 텍스처 매핑 기능을 제공합니다. 이 각각의 생성형 AI 도구는 3D 제작 과정의 한 부분을 향상합니다.

위 도구들은 크리에이터의 기술적 역량을 향상하고 아이디어 구상부터 작업 완성까지 이르는 시간을 단축해 줍니다. 자체적인 연구를 통한 혁신과 전체 AI 생태계를 통해 양성한 최고의 솔루션을 바탕으로 설계한 이 도구들은 1D(스크립트), 2D(표면) 및 3D(공간) 내에서의 개별적인 애셋 제작에 사용됩니다. 3D 기하학 생성 및 편집 랩에서 비롯된 결과물을 Roblox 개발자 콘퍼런스를 포함한 다양한 국제 연구 학회에서 일부 선공개합니다.

업계 전역에 걸쳐 생성형 AI의 1D 및 2D 작업은 최첨단을 자랑하고, 3D 역시 그 뒤를 이을 혁신을 이룩고 있습니다. 이 세 개의 부문은 갈수록 유의미한 과제를 낳으며 흥미진진한 기술적인 개발의 지속적인 원동력이 되어 주죠. 우리가 3차원 공간에 살고 있는 만큼, 3D가 생성형 AI의 궁극적인 과제로 보일 수도 있습니다. 하지만 우리 커뮤니티가 필요로 하는 것을 토대로 판단했을 때, 우리의 비전은 그보다 한 발짝 더 나아갑니다.

지금까지의 성과

우리는 4D 생성형 AI를 개발하고 있습니다. 여기서 네 번째 차원은 바로 상호작용이죠. Roblox의 온라인 플랫폼이 자랑하는 강점이 바로 사람과 객체와 환경 간의 상호작용입니다. 기존 온라인 비디오 게임과는 달리 Roblox의 강력한 런타임 엔진은 상호작용에 초점을 둔 고유의 프로그래밍 및 시뮬레이션 모델을 활용합니다. 이 모델은 다양한 요소가 정해진 제한적 방식이 아닌 복잡하고 즉흥적인 다자간 방식으로 상호작용하는 메타버스의 개념으로부터 영감을 받았습니다.

1D, 2D 및 3D 생성형 AI 도구는 개별적 애셋을 생산합니다. 4D 생성형 AI에 있어 우리가 직면한 과제는 그런 애셋을 우리 플랫폼에 적합한 비제한적인 상호작용을 가능하게 하는 방식으로 구현하는 것입니다. 즉 예를 들어, 아바타가 단순이 모양과 색의 집합체가 아닌 뼈대이자 애니메이션이고 여기에 도구를 집어 들거나 균형을 잡는 등의 능력까지 갖추게 하는 것이죠. 또한 아바타가 그 아바타 전용으로 제작되지 않은 의상을 입을 수 있고, 그 의상이 자동으로 아바타에 맞춰 조정되어 모든 동작을 추적할 수 있다는 뜻이기도 합니다. 우리의 새로운 아바타 자동 설정(Avatar AutoSetup) 도구는 생성형 AI가 어떻게 이런 유형의 창작을 도와주는 데 사용될 수 있는지 보여주는 초기의 예시입니다. 개발자들은 이제 며칠, 몇 시간씩 걸리던 이런 프로세스를 몇 분 만에 완료할 수 있죠.

스포츠카는 멋진 페인트를 칠한 외관이 전부가 아닙니다. 그 안의 엔진과 움직이는 부품, 그리고 가상의 거리를 정확하고 제어 가능한 상태로 운전하게 해주는 물리 장치가 있죠. 각각의 객체는 3D 외형에 그치지 않고 물리적 장치와 아바타, 즉 사용자를 통해 서로와 상호작용하도록 확장됩니다.

다양하게 상호작용하는 이 4D 요소들은 더욱 규모가 큰 환경에 추가할 수 있습니다. 생성형 AI가 각 요소의 스타일을 조합하고 객체와 환경 사이에 상호작용 관련 지원을 주입해 주죠. 이제 사용자는 아바타를 통해 피해 수정자와 최고 점수 시스템을 갖춘 도로 경주에서 운전할 수도 있고, 패션 브랜드 상점으로 미끄러지듯 활주해 새로운 의상을 구매하여 승리를 자축할 수도 있습니다.

당장 이런 체험을 만드려면 스크립트 소스 코드와 작업 공간, 데이터 모델 구조, 3D 기하학, 애니메이션 및 재질을 직접 제작해야 합니다. Roblox의 기존 생성형 AI 도구는 각각의 파이프라인을 지원하는 역할을 하죠. 우리는 이 모든 요소를 연결하여 동시에 생성할 수 있는 시스템을 구축하고 있습니다. 이 목표를 달성하기 위해서는 4D 생성형 AI 시스템을 다방면으로 훈련해야 하며, 이는 동시에 여러 유형의 데이터를 주입해야 한다는 뜻입니다. 이미지와 텍스트에 대해서는 이 작업을 이미 완료하여 재질 생성기에 활용되고 있죠. 상호작용을 가능하게 하고 물리적인 움직임을 위해 특별히 만들어진 옵티마이저를 사용함으로써 새로운 차원의 4D 역량을 달성할 것입니다.

Roblox는 지난해에만 Roblox에서 만들어지는 콘텐츠에 대해 엄청난 변화를 봤으며, 앞으로 누구든 어디서든 단순히 명령을 입력하거나 말하는 것만으로 아이디어를 실현할 수 있는 미래를 예상하고 있습니다. 하지만 그런 미래에 도달하기 위해서 향후 직면하게 될 몇 가지 과제가 있습니다.

우리 앞에 놓인 과제

앞서 공유한 실험들은 가까운 장래에 만나볼 수 있지만, 그 이후 우리가 해결해야 할 세 가지 명확한 과제가 있습니다. 

1. 기능성: 미래의 생성형 AI 도구가 생성한 객체는 기능성을 갖춰야 합니다. 시스템이 3D 형상을 갖춘 트럭이나 비행기를 보고 '봉인된' 불투명 객체로 취급하지 않는 것이 중요하죠. 그리고 크리에이터가 개입할 필요 없이 자동으로 이런 객체를 인식하고 조인트가 필요한 부분인지, 메시가 열려야 하는 부분인지 파악할 수 있어야 하죠.

이 시스템이 해결해야 하는 문제들은 인간 수준의 AI가 해결할 수 있는 것들입니다. 예를 들어 바퀴 위치를 올바르게 잡은 다음 실제 세계에서와 똑같이 작동하도록 바퀴에 차축을 추가해야 하고, 문이 어디 있어야 하는지 파악한 다음 그 부분을 절단하고 문을 열고 닫을 수 있도록 힌지를 추가해야 합니다.

2. 상호작용: 이런 미래의 생성형 AI로 생성된 아이템들은 단독으로도 기능할 수 있어야 하지만 같은 환경 내 다른 객체와도 상호작용을 할 수 있어야 합니다. 시스템이 우리 대신 문이 열리고 바퀴가 돌아가는 차를 만들었다면, 차가 배치되는 세계의 물리학을 이해해야 하죠. 차량은 이 지형에서 어떻게 움직일까요? 바위와 충돌할 경우 바위의 크기와 차량의 속도에 따라 어디가 어떻게 바스러질까요?

이 복잡한 문제에서는 생성한 객체와 그 객체와 상호작용을 하는 환경 또는 다른 객체가 서로의 물리적 원리를 이해해야 합니다. 다행히 Roblox는 이런 측면에서 유리한 지점에 있습니다. 플랫폼이 물리적 엔진으로 설계되어 체험 내 모든 객체가 물리적으로 작용할 수 있기 때문이죠. 생성형 AI가 4D 객체를 생성하면 재질, 질량, 힘 등의 물리적인 속성이 추가되어 해당 세계의 물리 기반 객체와 상호작용을 할 수 있도록 준비됩니다.

3. 제어 가능성: 현재 우리는 프롬프트를 사용해 생성형 AI와 상호작용을 합니다. 마치 보물찾기를 하는 듯한 불완전한 과학적 방식이죠. 누군가 토끼 이미지를 요청했을 때 돌아올 수 있는 결과는 다양합니다. 실제 토끼일 수도 있고, 초콜릿 부활절 토끼, 만화 토끼, 물감으로 그린 토끼, 코트를 입은 토키 일러스트레이션 등이 나올 수 있죠. 그래서 우리는 머릿속에 구상해 둔 아이디어에 맞춰 프롬프트를 다듬어 포토리얼리스틱한 이미지나 “특정 스타일의” 이미지를 요청합니다. 하지만 이런 과정은 시간이 많이 소요되고, 원하는 결과물을 찾을 때까지 여러 차례 반복적으로 시도해야 하죠.

이 과정을 앞서 예시로 들었던 트럭처럼 다른 객체와 함께 기능하고 상호작용하는 3D 객체에 대해 똑같이 진행한다면 어떨까요? 이런 수준의 프롬프트 엔지니어링은 기하급수적으로 복잡하기 때문에 누구나 쉽게 사용하기는 어려울 것입니다. 크리에이터의 아이디어를 구현하기 위해서는 소통하고 조정하는 더욱 빠르고 간편한 방법이 필요합니다. 막연한 보물찾기보다는 든든한 파트너에 가까운 AI 어시스턴트와 협력할 수 있도록 말이죠. 

이 과제는 온 업계 차원의 과제로, 여러 기업들이 생성형 AI에 더 많은 제어 가능성을 도입하기 위해 노력하고 있습니다. Roblox의 경우 크리에이터가 텍스트 프롬프트 외의 추가 입력을 제공하여 제어 가능성을 높이게 해주는  ControlNet과 같은 도구를 통해 이 과제에 관해 일부 진전을 이뤄냈습니다. 현재는 AI가 주요 단계를 거친 이후 사용자가 추가로 입력을 제공할 수 있게 일시 정시하도록 조정하는 등 만족스러운 워크플로를 보장할 만한 다른 방법을 탐구하는 중이지만, 매끄러운 경험을 완성하기까지는 아직 해야 할 일이 많습니다.

Roblox는 지금까지 우리의 성과가 작업에 미친 영향에 대해 매우 기쁘게 생각하며, 앞으로 또 어떤 발견으로 성과를 이뤄낼지 기대하고 있습니다. 재질 생성기의 베타 버전을 사용하지 않는 크리에이터와 비교했을 때, 재질 생성기의 베타 버전을 사용하는 크리에이터는 물리 기반 렌더링(PBR) 처리된 재질 변형을 100% 이상 더 많이 사용하고 있습니다. 이는 2023년 3월에 사용된 약 1,000개의 변형과 2024년 6월에 사용된 약 2,000개의 변형보다 더 증가한 수치입니다. 2024년 6월 2일 이후 크리에이터들이 채택한 약 5억 3,500만 캐릭터 코드가 코드 지원이 제안한 것이었습니다.

4D로 가는 길에 직면한 과제를 해결하기 시작하면 크리에이터들은 더 많이, 더 빨리 창작할 수 있게 될 것입니다. 더 많은 사람들이 크리에이터가 될 수 있게 되는 만큼 체험의 다양성도 더욱 확장될 것으로 예상하고 있습니다. 새 크리에이터들이 무엇을 어떻게 제작하는지에 따라 어떤 새로운 도구와 AI 알고리즘에 투자해 이 크리에이터들과 기존 커뮤니티에 힘을 부여할 수 있을지 알 수 있습니다. 

Roblox는 4D 생성형 AI와 함께 체험과 애셋 제작의 새로운 장을 열었습니다. 비록 생소한 과제에 직면해 있지만, 혁신을 이루는 데 숙련된 우리의 프로세스를 믿습니다. 최고의 내부 연구 및 개발팀을 조합하는 동시에 대학과도 협력하며, 커뮤니티와의 파트너쉽을 통해 다양한 프로토타입을 반복하여 테스트하고 조정합니다.