Come diventare partner fondatore di una nuova iniziativa Open-Source è la chiave del nostro approccio alla sicurezza online

• L'intelligenza artificiale è diventata fondamentale per il nostro approccio alla sicurezza in Roblox e applichiamo i nostri modelli alle comunicazioni testuali e vocali, alle immagini, ai modelli e alle mesh 3D.

• Promuovere la sicurezza degli utenti, in particolare per i nostri utenti più giovani, è sempre stata la nostra massima priorità, e che’s perché continuiamo a investire e migliorare i nostri sistemi di sicurezza.

• Contribuire alla comunità open-source è importante per noi. E noi’stiamo espandendo la nostra posizione di leadership nella tecnologia della sicurezza diventando un partner fondatore di ROOST, un nuovo strumento senza scopo di lucro dedicato ad affrontare importanti settori della sicurezza digitale promuovendo strumenti di sicurezza open source.

• Siamo’re anche open-sourcing una nuova versione del nostro modello di classificatore di sicurezza vocale (un modello di elaborazione fino a 400 milioni di parametri), 00 ore di discorso attivo ogni giorno sulla nostra piattaforma) e progettiamo di rilasciare ulteriori modelli di AI di sicurezza open-source in futuro.

La sicurezza e la civiltà sono due aspetti fondamentali per Roblox sin dalla sua creazione, quasi vent'anni fa. Creare sistemi che garantiscano la sicurezza di tutti è un compito importante, soprattutto nella nostra scala globale e dati i diversi tipi di contenuti che supportiamo. Che’è il motivo per cui investiamo pesantemente in infrastrutture, IA e esseri umani. Con centinaia di modelli in produzione, quasi ogni interazione su Roblox è alimentata in qualche modo da AI.

Nel quarto trimestre del 2024, i nostri utenti hanno caricato oltre 300 miliardi di contenuti, tra cui video, audio, testo, chat vocale, avatar ed esperienze 3D. Eppure solo lo 0.01% per cento di tale contenuto è stato individuato come una violazione delle nostre politiche, e la maggior parte di ciò non è stato visto dagli utenti perché è stato moderato proattivamente. Abbiamo inoltre sviluppato un'intelligenza artificiale di base ad alte prestazioni per garantire la sicurezza dell'intero spettro dei nostri contenuti e delle modalità di comunicazione. Questi modelli elaborano più di 4 miliardi di messaggi di testo ogni giorno con una latenza di soli pochi millisecondi, nonché milioni di ore di voce e contenuti. Noi’ci impegniamo a rilevare i cattivi contenuti e a prendere decisioni di moderazione su scala.

La sicurezza è qualcosa che trascende Roblox. Mentre noi’siamo in grado di aiutare a proteggere i nostri utenti quando’re sulla nostra piattaforma, abbiamo un potere limitato per farlo quando’re non su Roblox. Infatti, le società internet in tutto il mondo affrontano queste sfide quando i loro utenti passano da piattaforma a piattaforma. Così nel corso degli anni,’ve ha assunto un ruolo guida nel promuovere le pratiche di sicurezza e civiltà online unendo organizzazioni come la Family Online Safety Institute e la Coalizione Tecnica.

Ora, noi’siamo orgogliosi di espandere la nostra posizione di leadership nella sicurezza online diventando un partner fondatore—insieme a Google, OpenAI, Discord, e altri—di ROOST (Robust Open Online Safety Tools). Questo nuovo non-profit è dedicato ad affrontare aree importanti nella sicurezza digitale—in particolare la sicurezza dei bambini online—costruendo scalabile, strumenti di sicurezza interoperabili e resilienti adatti all'era dell'intelligenza artificiale.

ROOST si svilupperà, mantenerà, e distribuire gratuitamente risorse di sicurezza open-source che le organizzazioni pubbliche e private di tutte le dimensioni—molte delle quali non hanno accesso alla tecnologia di sicurezza di base—possono impiegare per aumentare i loro sistemi per mantenere i loro utenti sicuri. Questo permetterà loro di concentrare maggiormente le loro energie sulla crescita delle loro imprese.

Noi’siamo entusiasti di aiutare a rafforzare la sicurezza su internet, e a tal fine, we’ll anche essere un copresidente di ROOST’s comitato consultivo tecnologico. Questo ci darà l'opportunità di condividere ciò che’ve ha imparato, e per informare e sostenere l'organizzazione’s lavoro e strategia tecnica.

Diventare partner fondatore di ROOST ci permette di appoggiarci all'esperienza di modellazione di machine learning della comunità ROOST per far progredire le tecniche di sicurezza che utilizziamo e condividiamo. Questo è emozionante perché ROOST sta lavorando su tre aree centrali della sicurezza online che sono mission-critical per Roblox e altre piattaforme online. Ciò include:

• Migliorare la sicurezza dei minori, compreso lo sviluppo di classificatori più forti per il materiale pedopornografico (CSAM)

• Costruire migliori infrastrutture di sicurezza, come le console di revisione, i motori euristici e la raccolta e la cura di ulteriori esempi di formazione, campionamento, etichettatura e formazione statistica degli esseri umani su questi casi di uso

• Creazione di un modello linguistico di grandi dimensioni (LLM) - sicurezza dei contenuti alimentati che sfruttano l'IA per rivedere e formare i moderatori per far rispettare i criteri

“Avere un leader globale nella sicurezza online come Roblox unirsi a ROOST come partner fondatore è una grande opportunità per noi,” ha detto ROOST Vice Presidente del Consiglio Eli Sugarman. “Con il suo impegno dimostrato per la sicurezza open source, Roblox è in una posizione privilegiata per condividere il suo approccio innovativo per aiutare a proteggere l'intera comunità online."

Questo è un momento importante per tutta la comunità online e il nostro lavoro sugli strumenti open-source ne è un elemento importante. Riteniamo che l'intelligenza artificiale sia una tecnologia che dovrebbe basarsi sulla trasparenza e l'apertura, e noi’siamo impegnati ad essere un partner forte nella comunità open-source AI.

Contribuire alla tecnologia nella comunità open source

Essere partner fondatore di ROOST va di pari passo con il nostro approccio per contribuire alla tecnologia alla comunità open-source. Questo è un viaggio iniziato l'anno scorso quando abbiamo aperto il nostro modello di classificatore per la sicurezza vocale , in grado di rilevare le violazioni politiche più accuratamente dei moderatori umani su una scala di milioni di minuti di attività vocale al giorno. Da allora,’s è stato scaricato quasi 22.000 volte.

Noi’ora abbiamo una versione aggiornata di quel modello in produzione che gestisce sette nuove lingue—Spagnolo, Tedesco, Francese, portoghese, italiano, coreano e giapponese—e applica nuove tecniche che rendono il modello più efficace. Questi includono un'architettura di formazione di curriculum per l'ottimizzazione dell'etichetta umana, l'espansione di teste di abuso e l'aggiunta di elementi di estrazione e di riduzione del tempo più efficienti. Abbiamo in programma di open-sourcing la nuova versione del modello entro la fine del primo trimestre del 2025. Guardando al futuro, prevediamo anche modelli di classificazione open-sourcing per altre modalità nel corso di quest'anno.

L'open sourcing dei nostri strumenti fa parte di chi siamo, sia con alcuni dei nostri lavori di sicurezza sia per la creazione. Lo scorso anno, ad esempio, abbiamo presentato il nostro 3D Foundational Model, che aiuterà i creatori a integrare molti tipi di strumenti di auto-generazione nelle loro esperienze.

Noi’siamo entusiasti di essere un partner fondatore della comunità ROOST, e miriamo a collaborare con altri leader del settore e contribuire a rendere Internet un luogo più sicuro.