Roblox Cube 소개: 3D 및 4D를 위한 핵심 생성형 AI 시스템

• Roblox가 생성형 AI를 위한 Cube 3D 기반 모델을 출시할 예정입니다.
• 더불어 Cube 3D 기반 모델 버전의 오픈 소스도 제공할 계획이죠.
• Roblox Studio 내부 및 체험 내 Lua API로서의 Cube 3D 메시 생성 베타 버전은 이번 주에 이용할 수 있게 됩니다.

지난가을, 저희는 Roblox에서 3D 개체 및 풍경을 만들기 위한 오픈 소스 3D 기반 모델을 제작한다는 야심 찬 프로젝트를 발표했습니다. 그리고 이번 주, 이 모델의 첫 번째 버전이 오픈 소스로 제공되어 Roblox 플랫폼상에서든 밖에서든 누구나 이용할 수 있게 됩니다. 이 모델의 이름은 Cube 3D입니다. 이 기능의 첫 출시와 함께 메시 생성 API도 베타로 출시됩니다. Cube는 매우 복잡한 풍경 생성 도구 등 앞으로 저희가 개발할 수많은 AI 도구를 뒷받침할 겁니다. 궁극적으로 텍스트, 이미지, 동영상, 기타 입력 유형으로 트레이닝된 멀티모달 모델이 될 것이며, Roblox의 기존 AI 생성 도구와 통합됩니다.

Cube 3D는 텍스트에서 바로 3D 모델과 환경을 생성합니다. 추후에는 이미지 입력으로도 가능할 예정입니다. 오늘날, 최신 3D 생성 도구는 이미지와 재구성 방식을 이용해 3D 개체를 제작합니다. 충분한 3D 트레이닝 데이터가 없을 땐 좋은 옵션이죠. 하지만 Roblox 플랫폼의 특성 덕분에 저희는 네이티브 3D 데이터를 트레이닝합니다. 생성된 개체는 현재 게임 엔진과 완벽하게 호환되고 개체가 기능할 수 있도록 확장될 수도 있습니다.

여기서의 차이점은 경주로 영화 세트와 비슷합니다. TV에선 관중석, 차고, 세리머니 장소로 이루어진 완벽하게 기능하는 경주로가 보입니다. 하지만 세트를 걸어 다녀 보면 구조물이 사실 평면이었다는 걸 금방 깨닫게 되죠. 몰입감 넘치는 3D 월드를 제작하려면 차를 몰고 들어갈 수 있는 차고, 앉을 수 있는 관중석, 행사가 진행되는 시상대를 가진 세리머니 장소를 갖춘 온전하고 기능하는 구조물이 필요합니다.

이를 위해, 저희는 다음 토큰을 예측하여 문장을 형성할 수 있도록 텍스트 토큰(또는 글자 세트)로 트레이닝된 최신 모델에서 영감을 받았습니다. 저희의 혁신은 동일한 핵심 개념을 바탕으로 구축됩니다. 3D 개체를 토큰화하고 토큰과 트레이닝된 Cube 3D로서 형체를 이해함으로써 다음 형체를 예측하고 온전한 3D 개체를 제작하는 기능을 구축했습니다. 이 기능을 전체 풍경 생성으로 확장하면 Cube 3D가 레이아웃을 예측하고 반복적으로 형체를 예측하여 해당 레이아웃을 완성합니다.

누구든 필요에 맞게 자신의 데이터로 Cube 3D를 미세 조정하거나, 플러그인을 개발하거나, Cube 3D를 트레이닝할 수 있죠. AI 도구의 기반은 개방성과 투명성이 되어야 한다고 생각하기에, 저희는 오픈 소스 AI 커뮤니티를 열렬히 지지합니다. AI 안전 모델 중 하나를 출시한 이유는 AI 안전 면에서의 발전 사항을 공유하면 업계 전체의 혁신 및 기술 진보 가속화에 도움이 된다는 것을 절실히 느꼈기 때문입니다 이러한 이유로, 오픈 소스 안전 도구를 이용해 디지털 안전 내 중요한 분야를 전문적으로 다루는 새로운 비영리 단체 ROOST의 설립도 도왔습니다. Cube 3D를 오픈 소스로 제공함으로써 저희가 목표로 한 바는 연구자, 개발자 그리고 더 넓은 AI 커뮤니티가 배우고, 향상시키고, 3D 생성 업계 전반을 발전시킬 수 있게 하는 것입니다.

창작을 위한 Cube 3D

AI가 3D 애셋, 액세서리, 체험 제작을 가속화하는 방법에 관해선 이전에 말씀드렸습니다. 궁극적으로 AI는 더욱 몰입감 넘치고 맞춤화된 플레이 및 소통을 가능하게 할 것입니다. 창작 주기의 모든 단계에서 AI를 지원하기 위해 Roblox는 인프라에 투자하고 있습니다. 이는 체험을 제작하는 개발자와 그 체험에서 시간을 보내는 사용자 모두를 위한 것이죠. 저희는 개발자가 체험 내에서 AI를 지원하여 사용자들에게 새로운 창작 방식을 제공하는 미래를 그리고 있습니다. 이로써 게임 플레이의 일부로 8,500만 명이 넘는 일일 활성 사용자가 AI 능력을 사용할 수 있게 되죠.

지난해, 저희는 Roblox Studio 내에서 AI로 구동되는 어시스턴트를 통해 여러 새로운 기능을 도입하여 개발자들에게 제작 및 수작업에 소요되는 시간 감소에 필요한 도구와 기능을 제공했습니다. 이제 Cube로 3D 제작의 효율을 한층 향상시키려고 합니다. 3D 메시 생성으로 개발자들은 진행 방향을 신속하게 결정함으로써 창의적인 새 방향을 빠르게 탐색하고 생산성을 높일 수 있습니다.

레이스 게임을 만든다고 상상해 보세요. 지금은 “/오토바이 생성” 또는 “/주황색 라바콘 생성” 같은 빠른 프롬프트를 입력하여 어시스턴트 내 메시 생성 API를 이용할 수 있습니다. 그리고 몇 초 안에 API는 해당 개체의 메시 버전을 생성해 낼 겁니다. 그다음 텍스처, 색상 등으로 이를 더 구체화할 수 있습니다. 단순한 개체를 모델링하느라 수 시간을 보낼 필요 없이 이 API로 더 빠르게 소도구를 모델링하거나 공간을 디자인할 수 있죠. 그 덕분에 트랙 레이아웃 디자인 및 차량 조작성 미세 조정 등 재밌는 부분에 집중하는 것이 가능합니다. 이 API는 각 개체 생성에 소요되는 시간을 절약해 줄 뿐 아니라, 시간 또는 노력을 낭비할 걱정 없이 새로운 아이디어를 실험할 시간을 돌려줍니다. 장기적으로는 더 복잡하고 기능적인 개체, 심지어 장면까지 지원할 계획입니다.

이 기술은 매일 Roblox에서 플레이하고 소통하는 1,000만 명의 독창적인 사람들에게 제공됩니다. 저희는 미래에 사용자들이 AI를 이용해 크리에이터가 될 수 있도록 개발자들이 지원하길 바랍니다. 메시 생성 API가 활성화됨으로써 플레이어는 상상하는 모든 것을 구현할 수 있습니다. 플레이어가 미래적인 차량을 원하면 “사이드 윙이 달린 미래의 빨간색 차량” 또는 “검은색 가죽 모터사이클 재킷”을 입력해 생성할 수 있죠. 이러한 인게임 AI 생성은 창의성의 새로운 차원을 열어 줄 것입니다. 플레이어는 개발자가 상상하지 못한 방식으로 체험을 맞춤화하는 것이 가능하며, 이로 인해 게임의 참여도가 증가하게 될 겁니다.

시스템 자세히 살펴보기: 3D 및 텍스트/이미지 토큰 간 교차 관심

기술 면에서 어려웠던 점으로는 텍스트 및 이미지와 3D 형체를 연결하는 것이 있었습니다. 저희의 핵심 기술적 돌파구는 3D 토큰화입니다. 이 기술은 텍스트가 토큰으로 대표될 수 있는 것과 동일한 방식으로 3D 개체를 토큰으로 대표할 수 있게 합니다. 언어 모델이 문장의 다음 단어를 예측하듯 이를 통해 다음 형체를 예측할 수 있게 되죠.

3D 생성을 달성하기 위해 Roblox는 단일 개체의 자동 회귀 생성, 형체 완성, 다중 개체/풍경 레이아웃 생성용 통일된 아키텍처를 설계했습니다. 자동 회귀 변환기는 이전 입력을 이용해 다음 구성 요소를 예측하는 신경망입니다. 이 아키텍처는 모델을 확장할 수 있도록 확장성과 멀티모달 호환성을 모두 제공하며, 다양한 종류의 입력(텍스트, 그래픽, 오디오, 3D)을 이용할 수 있습니다. 저희는 이 모델을 오픈 소스로 제공할 예정입니다. 현재의 초기 단계에서 크리에이터들은 텍스트 프롬프트를 바탕으로 3D 개체를 생성할 수 있습니다. 추후에 멀티모달 입력을 바탕으로 풍경 전체를 생성할 수 있도록 할 계획입니다.

형체를 생성하도록 생성적 사전학습 변환기(GPT)를 트레이닝하기 위해 저희는 별개의 3D 형체 토큰을 이용하고 이를 텍스트 프롬프트에 맞춰 조절합니다. 이러한 새로운 접근법은 플레이 가능한 3D 풍경 생성 월드를 구성해 줍니다.

Cube의 방향

오늘날 대다수가 텍스트용 AI를 이용해 문장의 단어를 예측합니다. 또한 이미지를 이용해 픽셀을 예측하기도 합니다. 이 모든 요소가 함께 어우러지고 서로의 맥락에 맞게 작동해야 하는 풍경을 생성할 때 이 작업은 훨씬 복잡해집니다. 예를 들어, “나무가 심겨 있는 경주로 앞쪽에 주차된 오토바이에 탑승한 아바타” 라고 묘사 가능한 단순한 풍경이 등장하는 체험을 상상해 보세요.

이 체험을 제작하는 데 많은 요소가 투입됩니다. 나무에는 두 가지 3D 메시가 조합되며, 오토바이는 세부 사항과 삼각형으로 이루어진 밀도가 높은 메시이며, 건물들은 Roblox 파트로 이루어집니다. 오토바이에 탄 아바타는 신체, 팔다리, 머리로 구성된 더 복잡한 지오메트릭을 자랑합니다. 마지막으로 이 모든 것을 레이아웃으로 한데 묶을 방법이 필요합니다. 이를 위해, 개체의 윤곽을 나타내 크기와 위치를 정의하는 경계 상자를 이용해 해당 지오메트리를 정렬할 방법을 파악해야 합니다. 이 과정은 고생스럽지만, AI가 각 단계에 도움을 줄 수 있습니다. AI를 이용해 크리에이터들은 첫 번째 버전을 빠르게 생성하고 새로운 아이디어를 테스트하거나 풍경을 다듬을 시간을 벌 수 있습니다.

그 단계에 이르면 저희는 생성되는 3D 개체와 풍경이 완벽하게 기능하길 바라죠. 이를 4D 생성이라 부르며, 4차원은 개체, 환경, 사람 간 상호 작용을 가리킵니다. 이를 달성하기 위해선 몰입도 높은 3D 개체 및 풍경을 제작하는 능력뿐 아니라, 해당 개체 간 맥락과 관계를 파악하는 능력도 필요합니다. 바로 이것이 저희가 Cube로 목표하는 바입니다.

Roblox는 이 메시 생성의 첫 번째 사용 사례를 넘어 풍경 생성 및 이해까지 확장할 계획을 가지고 있습니다. 앞으로 사용자들에게 가장 관심 있는 체험을 제공하고 맥락에 따라 개체를 추가해 풍경을 증강할 수 있게 될 전망입니다. 예를 들어, 숲 풍경이 등장하는 체험에서 개발자는 어시스턴트에 나무의 무성한 초록색 나뭇잎을 전부 낙엽으로 바꿔 달라고 부탁하여 계절의 변화를 나타낼 수 있습니다. AI 어시스턴트 도구는 개발자의 요청에 반응하여 신속하게 체험을 생성하고, 변경하고, 조정하는 작업을 돕습니다.

저희는 계속해서 기반 모델을 개선하고 확장해 나가면서 업데이트 사항 및 새로운 기능도 공유해 드리겠습니다. 그때까진 이번 주 후반에 출시될 Cube 3D 모델의 오픈 소스 버전을 즐겁게 사용하고 이를 바탕으로 멋진 콘텐츠를 만들어 주시길 바랍니다.