O caminho da Roblox rumo a IA generativa 4D

• A Roblox está construindo IA generativa 4D, superando os simples objetos 3D para fomentar interações dinâmicas.

• Resolver o desafio 4D exigirá uma compreensão multimodal de vários elementos: aparência, forma, física e scripts.

• As ferramentas preliminares fundamentais para nosso sistema 4D já estão acelerando a criação na plataforma.

A Roblox permite que criadores construam experiências imersivas, avatares e acessórios 3D, com as ferramentas, os serviços e o suporte necessários para realizar seus projetos. São esses criadores que geram o conteúdo vibrante na nossa plataforma, movendo os mais de 77 milhões de usuários ativos diários (como no primeiro trimestre de 2024). A partir do aplicativo gratuito do Roblox Studio, lançamos um conjunto de ferramentas de IA generativa projetadas especialmente para o processo de trabalho da Roblox, treinado com conteúdo específico da Roblox.

Essas ferramentas facilitam a criação, tornando-a mais eficiente e divertida, tanto para novatos quanto para veteranos. O Assistente permite edição de espaço de trabalho 3D, Captura de Animação possibilita locomoção facial e corporal, Assistente de Código ajuda na edição e criação de scripts, o Gerador de Materiais permite a aplicação de aparência de materiais e o Gerador de Texturas possibilita a texturização específica a certos recursos. Cada uma dessas ferramentas de IA generativa melhoram um aspecto do processo de criação 3D.

Juntos, o conjunto complementa as habilidades de dado criador e encurtam o tempo do conceito à conclusão. Criamos essas ferramentas a partir dos nossos avanços inovadores em pesquisa, além de soluções de primeira categoria do ecossistema mais amplo de IA. Elas dão conta da criação de recursos individuais em 1D (scripts), 2D (superfícies) e 3D (espaços). Demos uma prévia de alguns dos resultados do nosso próprio laboratório de edição e geração de geometria 3D em várias conferências de pesquisa, inclusive a nossa própria Conferência dos Desenvolvedores da Roblox.

Por toda a indústria, 1D e 2D são tecnologia de ponta, e 3D está na vanguarda da IA generativa. Cada aspecto é um desafio cada vez maior que continua a impulsionar avanços técnicos empolgantes. Como vivemos em um espaço 3D, pode parecer que esse é o maior desafio para uma IA generativa. No entanto, com base nas necessidades da comunidade, nossa visão vai ainda mais além.

A que passo estamos hoje

Estamos trabalhando em IA generativa 4D, onde a quarta dimensão é interação. O poder da plataforma online da Roblox é interação: entre pessoas, objetos e ambientes. Ao contrário de jogos online tradicionais, o motor de execução potente da Roblox se aproveita de um modelo diferenciado de programação e simulação focado em interações. Esse modelo se inspira no conceito de um metaverso, em que elementos interagem em modos complexos e espontâneos, com um alto número de objetos envolvidos, em vez de em formas limitadas e proibitivas.

Ferramentas generativas de IA 1D, 2D e 3D produzem recursos individuais. Nosso desafio com IA generativa 4D é dar vida a esses recursos de um jeito que permita interações irrestritas adequadas à plataforma. Isso quer dizer, por exemplo, que um avatar não é só forma e cor. Ele também é esqueleto, animações e a possibilidade de pegar ferramentas e equilíbrio. Tal avatar pode usar roupas que não foram projetadas especialmente para ele, ajusta-se automaticamente para caber tudo com perfeição e registra todo o movimento. Nossa nova ferramenta de Configuração Automática de Avatar é um exemplo preliminar de como é possível usar IA generativa para automatizar esse tipo de criação. Os desenvolvedores podem agora concluir esse processo em minutos, em vez de horas ou dias.

Um carro esportivo não é só uma forma elegante e uma mão de pintura; ele é também o motor, as partes móveis e a estrutura física que o permite correr pelas ruas virtuais com controle e precisão. Em cada caso, o objeto se amplia a partir do 3D para interagir com todos os componentes, por meio física, e com o usuário, por meio do avatar.

É possível implementar cada um desses elementos 4D profundamente interativos em um ambiente maior, em que a IA generativa harmoniza o estilo de cada elemento e injeta suporte interativo entre os objetos e com o ambiente. Agora, um usuário, por meio do avatar, pode pilotar em uma corrida de rua com modificadores de dano e placares, e derrapar até parar em uma loja de roupa de marca, onde é possível comprar roupas novas para comemorar a vitória.

Hoje, criar essas experiências exige a criação manual de código-fonte de script, da estrutura do espaço de trabalho e do modelo de dados, da geometria 3D, das animações e dos materiais. Nossas ferramentas de IA generativa existentes ajudam com cada etapa do processo. Estamos construindo um sistema que conectará todos esses elementos, gerando-os ao mesmo tempo. Para isso, temos que treinar nosso sistema de IA generativa 4D de maneira multimodal, ou seja, em vários tipos de dados juntos. Isso já é feito com imagens e texto, o que faz o Gerador de Materiais funcionar. Para chegar ao próximo nível de capacidade 4D, vamos permitir interações e implementar otimizadores especialmente para física.

Só no ano passado, vimos grandes transformações em como se cria conteúdo na Roblox. Estamos trabalhando por um futuro em que qualquer pessoa, em qualquer lugar, possa dar vida a uma ideia só digitando ou enunciando um comando. Para chegar lá, temos que começar a resolver alguns dos desafios que surgirão pelo caminho.

Os desafios à frente

Os experimentos de que falamos acima ficarão disponíveis em breve. Mais adiante, teremos três desafios claros a resolver:

1. Funcionalidade: os objetos criados por essa ferramenta de IA generativa futura precisam funcionar. O sistema tem que olhar para um avião ou caminhão onde se tem a forma 3D e a trata como mais do que um objeto opaco e selado. E ela terá que reconhecer automaticamente onde precisará ter articulações e onde a malha precisará abrir, sem intervenção do criador.

Esse é um problema de IA a nível humano que os sistemas precisam resolver: procurar um posicionamento correto das rodas, por exemplo, e aí acrescentar um eixo para que as rodas operem assim como fariam no mundo real. Procurar onde a porta fica, daí cortar uma abertura e acrescentar dobradiças para que a porta possa abrir ou fechar.

2. Interatividade: itens criados com essa IA generativa futura também precisam não só funcionar de forma independente, como também interagir com outros objetos no ambiente. Então, agora que o sistema nos criou um carro com uma porta que abre e rodas que viram, ele precisa entender a física do mundo que o carro habita. Como o veículo se desloca no terreno? Se ele bate em um pedregulho, onde e como ele amassa, com base no tamanho do pedregulho e da velocidade do veículo?

Esse desafio complexo requer que tanto o objeto criado quanto o ambiente e o objeto com o qual ele interage entendam a física um do outro. Por sorte, a Roblox sai na vantagem nesse aspecto, pois a plataforma foi construída como um motor de física, de modo que todos os objetos em experiências podem ser físicos. Quando a IA generativa cria um objeto 4D, ela também acrescenta qualidades físicas como material, massa e força para prepará-lo para interagir com outros objetos físicos no mundo.

3. Controle: hoje, interagimos com IA generativa a partir de instruções em texto. Trata-se de uma ciência imperfeita, como uma caça ao tesouro. Alguém que pede por uma imagem de coelho pode receber uma ampla gama de resultados possíveis: um coelho de verdade, um coelhinho de chocolate de Páscoa, um coelho de desenho animado, uma pintura de um coelho ou até uma ilustração de um coelho de paletó. Então refinamos essas instruções, pedindo imagens fotorrealistas ou imagens em determinados estilos, conforme vamos especificando a visão na nossa mente. Isso demora e requer várias tentativas até nos aproximarmos do resultado desejado.

Imagine tentar seguir esse processo para um objeto 3D que funciona e interage com outros objetos, como o caminhão no exemplo acima. Seria extremamente complexo trabalhar nessas instruções, deixando a operação menos acessível ao público geral. Para dar vida às ideias dos criadores, precisamos de um jeito mais fácil e rápido de comunicar e refinar, em essência colaborando com um assistente de IA que seja mais como um parceiro, e menos como uma caça ao tesouro.

Esse é um desafio para o setor todo, e muitas empresas estão trabalhando para dar mais controle sobre IA generativa. Fizemos progresso nessa área com ferramentas como ControlNet, que aumenta o controle ao permitir que o criador proporcione condições de entrada a mais, além das instruções de texto. Estamos explorando outros métodos que mostram potencial para um fluxo de trabalho gratificante, como fazer a IA se interromper em etapas críticas para aguardar comandos do usuário. Mas ainda falta muito para chegarmos a uma experiência descomplicada.

Estamos animados com o impacto já atingido e ainda mais com o que vem aí. Comparados a criadores que não estão usando o beta do Gerador de Materiais, os que estão usando, aumentaram o uso de variações de material com renderização baseada em física (RBP) em mais de 100%, de mil em março de 2023 a mais de dois mil em junho de 2024. Em 2 de junho de 2024, criadores adotaram cerca de 535 milhões de caracteres de código sugerido pelo Assistente de Código.

Conforme começamos a solucionar os desafios nessa estrada rumo ao 4D, nossos criadores poderão criar mais, mais rápido. Também esperamos ver mais diversidade de experiências na Roblox conforme possibilitamos que mais gente comece a criar. O que essas pessoas criam e como criam nos revelarão onde investir em novas ferramentas e algoritmos de IA para ajudar esses novos criadores, junto da nossa comunidade já existente.

Com IA generativa 4D, a Roblox começou a desbravar uma nova fronteira de experiência e criação de ativos. Embora os desafios sejam novos, o processo de inovação já está bem refinado. Combinamos nossos excelentes times de pesquisa e desenvolvimento, colaborações com universidades e iteração rápida de protótipos em parceria com a comunidade.