Memperkenalkan Roblox Cube: Sistem AI Generatif Inti Kami untuk 3D dan 4D

• Kami merilis model dasar Cube 3D untuk AI generatif.
• Kami juga membuat versi open-source model dasar Cube 3D.
• Versi beta pembuatan mesh Cube 3D (di Roblox Studio dan sebagai Lua API dalam pengalaman virtual) akan tersedia minggu ini.

Menjelang akhir tahun lalu, kami mengumumkan proyek ambisius untuk membangun model dasar 3D open-source untuk membuat objek dan latar 3D di Roblox. Minggu ini, kami merilis versi pertama model ini sebagai open-source agar tersedia untuk digunakan oleh siapa saja di dalam atau di luar platform Roblox. Kami menamai model ini Cube 3D. Kami juga meluncurkan kemampuan pertamanya, dengan peluncuran beta API pembuatan mesh. Cube akan mendukung banyak alat AI yang akan kami kembangkan di tahun-tahun mendatang, termasuk alat pembuatan latar yang sangat kompleks. Pada akhirnya, model ini akan menjadi model multimodal yang dilatih menggunakan teks, gambar, video, dan jenis input lain, serta akan terintegrasi dengan alat kreasi AI yang sudah ada.

Cube 3D menghasilkan model dan lingkungan 3D langsung dari teks dan, di masa mendatang, dari gambar. Saat ini, pembuatan 3D tercanggih menggunakan gambar dan pendekatan rekonstruksi untuk membangun objek 3D. Ini adalah opsi yang baik ketika tidak ada data pelatihan 3D yang memadai. Namun, berkat konsep platform kami, kami melatih model menggunakan data 3D asli. Objek yang dihasilkan sepenuhnya kompatibel dengan mesin game saat ini dan dapat diperluas untuk membuat objek yang fungsional.

Perbedaannya mirip dengan set film lintasan balap. Di TV, kamu mungkin melihat lintasan balap yang tampak sepenuhnya fungsional, dengan tribun, garasi, dan jalur kemenangan. Tetapi ketika kamu menjelajahi set itu, kamu akan menyadari bahwa strukturnya sebenarnya datar. Membangun dunia 3D yang benar-benar imersif membutuhkan struktur yang utuh dan fungsional, misalnya garasi yang dapat kamu masuki, tribun yang dapat kamu duduki, dan jalur kemenangan dengan podium fungsional.

Untuk mencapai hal ini, kami terinspirasi dari model canggih yang dilatih menggunakan token teks (atau rangkaian karakter) sehingga dapat memprediksi token berikutnya untuk membentuk kalimat. Inovasi kami dibangun atas dasar ide yang sama. Kami telah mengembangkan kemampuan untuk membuat token dari objek 3D dan memahami bentuk sebagai token, serta melatih Cube 3D untuk memprediksi token bentuk berikutnya untuk membangun objek 3D yang utuh. Ketika kami memperluas ini ke pembuatan latar secara keseluruhan, Cube 3D akan memprediksi tata letak dan secara rekursif memprediksi bentuk untuk menyelesaikan tata letak tersebut.

Siapa pun dapat menyempurnakan, mengembangkan plug-in untuk, atau melatih Cube 3D dengan data mereka sendiri agar sesuai dengan kebutuhan mereka. Kami percaya bahwa alat AI harus dibangun berdasarkan keterbukaan dan transparansi. Oleh karena itu, kami adalah mitra yang berkomitmen dalam komunitas AI open-source. Kami merilis salah satu model keamanan AI kami karena kami sangat yakin bahwa berbagi kemajuan dalam keamanan AI membantu seluruh industri mempercepat inovasi dan kemajuan teknis. Untuk alasan ini, kami juga membantu mendirikan ROOST, organisasi nirlaba baru yang didedikasikan untuk menangani area penting dalam keamanan digital dengan alat keamanan open-source. Dengan menjadikan Cube 3D open-source, kami bertujuan untuk memungkinkan para peneliti, developer, dan komunitas AI yang lebih luas mempelajari, meningkatkan, dan memajukan industri pembuatan 3D.

Cube 3D untuk Kreasi

Kami sebelumnya telah membahas manfaat AI untuk mempercepat pembuatan aset 3D, aksesori, dan pengalaman virtual. Pada akhirnya, AI akan memungkinkan permainan dan koneksi yang lebih imersif serta dipersonalisasi. Kami berinvestasi dalam infrastruktur untuk mendukung AI di setiap tahap siklus pembuatan, baik untuk developer pengalaman virtual maupun pengguna yang menghabiskan waktu di dalamnya. Kami membayangkan masa depan di mana developer akan memberi penggunanya cara baru untuk berkreasi dengan mengaktifkan AI di pengalaman virtual mereka. Hal ini menempatkan kekuatan AI di tangan lebih dari 85 juta pengguna aktif harian sebagai bagian dari gameplay mereka.

Tahun lalu, kami memperkenalkan beberapa fitur baru melalui Assistant yang didukung AI di Roblox Studio untuk menyediakan alat dan kemampuan yang dibutuhkan developer untuk berkreasi dan mengurangi jam kerja manual. Dengan Cube, kami bertujuan untuk membuat kreasi 3D lebih efisien. Dengan pembuatan mesh 3D, developer dapat dengan cepat mengeksplorasi arah kreatif baru dan meningkatkan produktivitas mereka dengan lebih cepat memutuskan mana yang akan dilanjutkan.

Bayangkan membuat game balapan. Saat ini, kamu bisa menggunakan Mesh Generation API dalam Assistant dengan mengetikkan prompt cepat, seperti “/buat sepeda motor” atau “/buat kerucut lalu lintas oranye”. Dalam hitungan detik, API akan menghasilkan versi mesh objek ini. Objek ini kemudian dapat disempurnakan dengan tekstur, warna, dll. Dengan API ini, kamu bisa membuat prop atau merancang ruang lebih cepat, tanpa perlu menghabiskan waktu berjam-jam membuat model objek sederhana. Hal ini memungkinkanmu fokus pada hal menyenangkan, seperti merancang tata letak lintasan dan menyempurnakan kendali mobil. API ini menghemat waktu untuk setiap objek yang dibuat dan memberimu waktu untuk bereksperimen dengan ide baru tanpa perlu menghabiskan banyak waktu atau tenaga. Dalam jangka panjang, kami berencana untuk mengaktifkan objek (dan bahkan latar) yang lebih kompleks dan fungsional.

Teknologi ini menjangkau puluhan juta orang kreatif yang bermain dan terhubung di Roblox setiap hari. Kami melihat masa depan di mana developer memungkinkan penggunanya menjadi kreator menggunakan AI. Dengan mengaktifkan Mesh Generation API, pemain dapat mewujudkan apa pun yang mereka bayangkan. Jika pemain menginginkan mobil futuristik, mereka cukup mengetik “mobil merah masa depan dengan sayap samping“ atau “jaket motor kulit berwarna hitam” dan menunggu hasilnya. Kreasi dengan bantuan AI dalam game semacam ini akan membuka tingkatan kreativitas baru. Pemain dapat mempersonalisasi pengalaman virtual mereka dengan cara yang belum pernah dibayangkan developer, yang akan membuat game mereka makin menarik.

Di Balik Layar: Perhatian Silang Antara 3D dan Token Teks/Gambar

Tantangan teknis utama adalah menghubungkan teks dan gambar dengan bentuk 3D. Terobosan teknis utama kami adalah tokenisasi 3D, yang memungkinkan kami merepresentasikan objek 3D sebagai token, sama seperti merepresentasikan teks sebagai token. Ini memberi kami kemampuan untuk memprediksi bentuk berikutnya sebagaimana model bahasa memprediksi kata berikutnya dalam sebuah kalimat.

Untuk memungkinkan pembuatan 3D, kami merancang arsitektur terpadu untuk generasi autoregresif objek tunggal, penyelesaian bentuk, dan pembuatan tata letak multiobjek/latar. Transformator autoregresif adalah jaringan neural yang menggunakan input sebelumnya untuk memprediksi komponen berikutnya. Arsitektur ini menyediakan skalabilitas dan kompatibilitas multimodal sehingga saat dikembangkan, model ini akan berfungsi dengan berbagai jenis input (teks, visual, audio, dan 3D). Kami menjadikan model ini sebagai open-source. Pada tahap awal ini, kreator akan dapat membuat objek 3D berdasarkan prompt teks. Ke depannya, kami bermaksud agar kreator dapat membuat seluruh latar berdasarkan input multimodal.

Guna melatih generative pre-trained transformers (GPT) untuk pembuatan bentuk, kami menggunakan token bentuk 3D diskret dan menyelaraskannya dengan prompt teks. Pendekatan baru ini mempersiapkan kami untuk memasuki dunia pembuatan latar 3D yang dapat dimainkan.

Arah Pengembangan Cube

Saat ini, banyak orang di dunia menggunakan AI pada teks, untuk memprediksi kata-kata dalam sebuah kalimat. Banyak juga yang menggunakannya pada gambar, untuk memprediksi piksel. Hal ini menjadi jauh lebih kompleks ketika membuat latar, di mana semua elemen ini menyatu dan harus saling berfungsi sesuai konteks. Sebagai contoh, bayangkan pengalaman virtual dengan latar sederhana yang dapat dideskripsikan sebagai “avatar naik sepeda motor di depan lintasan balap dengan pepohonan”.

Banyak elemen yang digunakan untuk membangun pengalaman virtual ini. Pepohonan adalah kombinasi dua mesh 3D, sepeda motor adalah mesh padat dengan detail dan segitiga, dan bangunannya terdiri dari berbagai bagian Roblox. Avatar naik sepeda motor memiliki fitur geometris yang lebih kompleks untuk tubuh, anggota badan, dan kepalanya. Terakhir, kita perlu cara untuk menyatukan semuanya dengan tata letak. Untuk itu, kita perlu boks pembatas, yang mengelilingi suatu objek untuk menentukan ukuran dan lokasinya, guna mengetahui cara menyusun geometri ini. Ini adalah proses yang melelahkan, tetapi AI mampu membantu setiap langkahnya. Dengan AI, kreator dapat mencapai versi pertama lebih cepat dan memiliki lebih banyak waktu untuk menguji ide baru atau menyempurnakan latar.

Pada akhirnya, kita ingin objek 3D dan latar yang kita buat sepenuhnya fungsional. Kita menyebutnya kreasi 4D, di mana dimensi keempat adalah interaksi antara objek, lingkungan, dan orang. Untuk mencapai ini, kita membutuhkan kemampuan tidak hanya untuk membangun objek dan latar 3D yang imersif, tetapi juga untuk memahami konteks dan hubungan antarobjek tersebut. Itulah arah pengembangan Cube.

Di luar penggunaan awal pembuatan mesh ini, kami berencana memperluasnya ke pembuatan dan pemahaman latar. Kami akan dapat menyajikan pengalaman virtual yang paling diminati pengguna dan memperkaya latar dengan menambahkan objek sesuai konteks. Misalnya, dalam pengalaman virtual dengan latar hutan, developer dapat meminta Assistant mengganti semua daun hijau subur di pohon dengan dedaunan musim gugur untuk menunjukkan perubahan musim. Alat AI Assistant kami merespons permintaan dari developer, membantu mereka membuat, mengadaptasi, dan meningkatkan pengalaman virtual mereka.

Kami akan menyampaikan informasi dan fungsi baru sambil terus meningkatkan dan mengembangkan model dasar kami. Sementara itu, kami berharap kamu bisa menggunakan dan membuat model dengan versi open-source Cube 3D kami, yang akan tersedia minggu ini.