Menjadi Mitra Pendiri Inisiatif Open-Source Baru Merupakan Kunci Pendekatan Kami akan Keamanan Online
- AI telah menjadi fondasi cara kami menjaga keamanan di Roblox, dan kami menerapkan model kami pada komunikasi teks dan suara, gambar, serta model dan mesh 3D.
-
Mempromosikan keamanan pengguna, terutama bagi pengguna termuda, selalu menjadi prioritas utama kami, dan itulah sebabnya kami terus berinvestasi dalam dan meningkatkan sistem keamanan kami.
-
Berkontribusi pada komunitas open source penting bagi kami. Kami memperluas posisi kepemimpinan kami dalam teknologi keamanan dengan menjadi mitra pendiri ROOST, yaitu lembaga nirlaba baru yang didedikasikan untuk menangani area penting dalam keamanan digital dengan mempromosikan fitur keamanan open source.
-
Kami juga membuat versi baru model pengklasifikasi keamanan suara menjadi open source (model dengan 94 juta parameter yang memproses hingga 400.000 jam percakapan aktif setiap hari di platform kami), dan kami berencana merilis model AI keamanan open source tambahan di masa mendatang.
Mempromosikan keamanan dan kesopanan telah menjadi fondasi Roblox sejak didirikan hampir dua dekade lalu. Merancang sistem untuk meningkatkan keamanan bagi semua pengguna merupakan pekerjaan besar, terutama pada skala global kami dan dengan semua jenis konten berbeda yang kami dukung. Itulah sebabnya kami berinvestasi besar pada infrastruktur, AI, dan manusia. Dengan ratusan model dalam produksi, hampir setiap interaksi di Roblox memiliki area yang didukung oleh AI.
Pada kuartal keempat tahun 2024, pengguna kami meng-upload lebih dari 300 miliar konten yang mencakup video, audio, teks, chat suara, avatar, dan pengalaman virtual 3D. Tetapi, hanya 0,01% dari konten tersebut yang terdeteksi melanggar kebijakan kami, dan sebagian besarnya tidak terlihat oleh pengguna karena telah dimoderasi secara proaktif. Kami juga telah menciptakan AI berkinerja tinggi yang fundamental untuk menjaga konten dan komunikasi tetap aman. Model ini bekerja pada lebih dari 4 miliar pesan teks sehari dengan latensi hanya beberapa milidetik, serta jutaan jam suara dan item konten. Kami berkomitmen untuk mendeteksi konten buruk dan membuat keputusan moderasi dalam skala besar.
Keamanan merupakan hal yang melampaui Roblox. Meskipun kami dapat membantu melindungi pengguna saat mereka menggunakan platform kami, kami memiliki kemampuan terbatas untuk melakukannya saat mereka tidak menggunakan Roblox. Perusahaan internet di seluruh dunia memang menghadapi tantangan ini saat penggunanya berpindah dari satu platform ke platform lainnya. Oleh karena itu, selama bertahun-tahun, kami telah mengambil peran kepemimpinan dalam mempromosikan keamanan online dan praktik kesopanan dengan bergabung dalam organisasi seperti Family Online Safety Institute dan Tech Coalition.
Saat ini, kami bangga dapat memperluas posisi kepemimpinan kami dalam keamanan online dengan menjadi mitra pendiri—bersama dengan Google, OpenAI, Discord, dan lainnya—dari ROOST (Robust Open Online Safety Tools). Lembaga nirlaba baru ini didedikasikan untuk menangani area penting dalam keamanan digital—terutama keamanan anak online—dengan membangun fitur keamanan yang dapat diterapkan secara luas, dapat dioperasikan bersama, dan tangguh, yang sesuai untuk era AI.
ROOST akan mengembangkan, menjaga, dan mendistribusikan berbagai sumber keamanan open source gratis yang dapat digunakan oleh organisasi publik dan swasta dari semua skala—banyak di antaranya tidak memiliki akses ke teknologi keamanan dasar—untuk melengkapi sistem mereka dalam menjaga keamanan penggunanya. Hal ini memungkinkan mereka untuk lebih fokus pada pengembangan bisnis.
Kami bersemangat dapat membantu meningkatkan keamanan di dunia maya, dan untuk tujuan tersebut, kami juga akan menjadi salah satu ketua di komite penasihat teknologi ROOST. Hal ini akan memberi kami kesempatan untuk berbagi apa yang telah kami pelajari, dan untuk menginformasikan serta mendukung pekerjaan dan strategi teknis organisasi.
Menjadi mitra pendiri ROOST memungkinkan kami untuk memanfaatkan keahlian pemodelan machine learning dari komunitas ROOST untuk memajukan teknik keamanan yang kami gunakan dan bagikan. Hal ini menarik karena ROOST tengah mengerjakan tiga area utama dalam keamanan online yang sangat penting bagi Roblox dan platform online lainnya. Termasuk di antaranya:
-
Meningkatkan keamanan anak, termasuk mengembangkan pengklasifikasi materi pelecehan seksual anak (CSAM) yang lebih kuat
-
Membangun infrastruktur keamanan yang lebih baik, seperti konsol review, mesin heuristik, serta mengumpulkan dan mengkurasi lebih banyak contoh pelatihan, mengambil sampel secara statistik, memberi label, dan melatih manusia pada kasus penggunaan ini
-
Membuat perlindungan konten yang didukung oleh model bahasa besar (LLM) yang memanfaatkan AI untuk merevisi dan melatih moderator untuk menegakkan kebijakan
“Memiliki pemimpin global dalam keamanan online seperti Roblox bergabung dengan ROOST sebagai mitra pendiri merupakan peluang besar bagi kami,” kata Wakil Ketua Dewan ROOST Eli Sugarman. “Dengan komitmennya yang terbukti terhadap keamanan open source, Roblox berada dalam posisi yang luar biasa untuk membagikan pendekatan inovatifnya untuk membantu melindungi seluruh komunitas online."
Ini adalah momen besar bagi seluruh komunitas online, dan upaya kami dalam pengembangan alat open source merupakan elemen utama. Kami menganggap AI adalah teknologi yang harus dibangun atas dasar transparansi dan keterbukaan, dan kami berkomitmen untuk menjadi mitra yang suportif dalam komunitas AI open source.
Berkontribusi Teknologi ke Komunitas Open Source
Menjadi mitra pendiri ROOST berjalan seiring dengan pendekatan kami dalam menyumbangkan teknologi ke komunitas open source. Ini adalah perjalanan yang kami mulai tahun lalu saat kami merilis model pengklasifikasi keamanan suara menjadi open source, yang dapat mendeteksi pelanggaran kebijakan lebih akurat daripada moderator manusia dalam skala jutaan menit aktivitas suara sehari. Sejak saat itu, model ini telah diunduh sebanyak hampir 22.000 kali.
Saat ini model tersebut memiliki versi terbaru dalam produksi yang menangani tujuh bahasa baru—Spanyol, Jerman, Prancis, Portugis, Italia, Korea, dan Jepang—dan menerapkan teknik baru yang membuat model tersebut menjadi lebih efektif. Ini mencakup arsitektur pelatihan kurikulum untuk menyempurnakan label manusia, memperluas peraturan pelanggaran, serta menambah ekstraksi fitur yang lebih efisien dan lapisan pengurangan waktu. Kami berencana untuk merilis versi model baru sebagai open source pada akhir kuartal pertama tahun 2025. Ke depannya, kami juga berencana untuk merilis model klasifikasi untuk modalitas lain sebagai open source pada akhir tahun ini.
Membuka akses open source untuk alat kami adalah bagian dari identitas kami, baik dalam pekerjaan kami di bidang keamanan maupun dalam proses kreatif. Tahun lalu, misalnya, kami memperkenalkan Model Fondasi 3D kami, yang akan membantu kreator mengintegrasikan berbagai jenis alat pembuatan otomatis ke dalam pengalaman virtual mereka.
Kami antusias menjadi mitra pendiri komunitas ROOST dan bertekad untuk berkolaborasi dengan pemimpin lain di bidang ini serta berkontribusi semaksimal mungkin dalam menjadikan dunia maya tempat yang lebih aman.