Comment le fait de devenir un partenaire fondateur d'une nouvelle initiative open-source est essentiel à notre approche de la sécurité en ligne

• L'IA est devenue le fondement de notre approche de la sécurité à Roblox, et nous appliquons nos modèles aux communications textuelles et vocales, aux images, aux modèles 3D et aux maillages.

• La promotion de la sécurité des utilisateurs, en particulier des plus jeunes, a toujours été notre priorité absolue, et c'est pourquoi nous continuons à investir dans nos systèmes de sécurité et à les améliorer ;

• Contribuer à la communauté open-source est important pour nous. Et nous renforçons notre position de leader dans le domaine des technologies de sécurité en devenant un partenaire fondateur de ROOST, une nouvelle organisation à but non lucratif dédiée à s’attaquer à des domaines importants de la sécurité numérique en promouvant des outils de sécurité open source.

• Nous mettons également en open source une nouvelle version de notre modèle de classificateur de sécurité (un modèle de 94 millions de paramètres traitant jusqu’à 400 000 heures de parole active par jour sur notre plateforme), et nous prévoyons de publier d’autres modèles d’IA de sécurité open source à l’avenir.

La promotion de la sécurité et de la civilité est fondamentale pour Roblox depuis notre création il y a près de vingt ans. Concevoir des systèmes pour promouvoir la sécurité pour tout le monde est un effort majeur, surtout à l'échelle mondiale et avec tous les différents types de contenu que nous supportons. C’est pourquoi nous investissons massivement dans l’infrastructure dans l’infrastructure, l’IA et l’humain. Avec centaines de modèles en production, presque toutes les interactions sur Roblox sont alimentées d’une manière ou d’une autre par l’IA.

Au quatrième trimestre 2024, nos utilisateurs ont téléchargé plus de 300 milliards de morceaux de contenu de vidéo audio, texte, chat vocal, avatars et expériences 3D. Mais seulement 0,01 % de ce contenu a été détecté comme violant nos politiques, et la plupart d'entre eux n'ont pas été vus par les utilisateurs parce qu'il a été modéré de manière proactive. Nous avons également inventé une IA fondamentale haute performance pour assurer la sécurité de l'ensemble de nos contenus et de nos modes de communication. Ces modèles fonctionnent sur plus de 4 milliards de messages texte par jour avec seulement des millisecondes de latence, et des millions d'heures de voix et d'éléments de contenu, et des millions d'heures de voix et d'éléments de contenu. Nous nous engageons à détecter les mauvais contenus et à prendre des décisions de modération à grande échelle.

La sécurité transcende Roblox. Bien que nous soyons en mesure d’aider à protéger nos utilisateurs lorsqu’ils sont sur notre plateforme, nous avons un pouvoir limité pour le faire lorsqu’ils ne sont pas sur Roblox. En effet, les entreprises Internet du monde entier sont confrontées à ces défis lorsque leurs utilisateurs passent de plateforme à plateforme. Au fil des ans, nous avons donc joué un rôle de premier plan dans la promotion de la sécurité et de la civilité en ligne en rejoignant des organisations telles que le Family Online Safety Institute » et la Tech Coalition.

Aujourd’hui, nous sommes fiers d’étendre notre position de leader dans le domaine de la sécurité en ligne en devenant l’un des partenaires fondateurs, avec Google, OpenAI, Discord et d’autres, de ROOST (Robust Open Online Safety Tools). Cette nouvelle organisation à but non lucratif se consacre à des domaines importants de la sécurité numérique—en particulier la sécurité des enfants en ligne—en construisant des outils de sécurité évolutifs, interopérables et résilients adaptés à l'ère de l'IA.

ROOST développera, maintiendra et distribuera des ressources de sécurité open source gratuites que les organisations publiques et privées de toutes tailles, dont beaucoup n’ont pas accès à la technologie de sécurité de base, pourront utiliser pour améliorer leurs systèmes afin d’assurer la sécurité de leurs utilisateurs. Cela leur permettra de concentrer davantage leurs énergies sur la croissance de leurs entreprises.

Nous sommes ravis de contribuer à renforcer la sécurité sur l'internet et, à cette fin, nous coprésiderons également le comité consultatif technologique de ROOST. Cela nous donnera l'occasion de partager ce que nous avons appris et d'informer et de soutenir le travail et la stratégie technique de l'organisation.

Devenir un partenaire fondateur de ROOST nous permet de nous appuyer sur l’expertise en modélisation automatique de la communauté ROOST pour faire progresser les techniques de sécurité que nous utilisons et partageons. C'est excitant parce que ROOST travaille sur trois principaux domaines de la sécurité en ligne qui sont cruciaux pour Roblox et d'autres plateformes en ligne. Cela comprend :

• Améliorer la sécurité des enfants, notamment en développant des classificateurs plus performants pour les matériels d'abus sexuels sur enfants (CSAM)

• Construire une meilleure infrastructure de sécurité, par exemple revoir les consoles, les moteurs heuristiques et collecter et organiser plus d'exemples de formation, échantillonnage, étiquetage et formation statistique des humains sur ces cas d'utilisation

• Créer des protections de contenu basées sur un grand modèle linguistique (LLM) qui permettent d'exploiter l'IA pour réviser et former les modérateurs à appliquer les politiques

Le fait qu'un leader mondial de la sécurité en ligne comme Roblox rejoigne ROOST en tant que partenaire fondateur est une formidable opportunité pour nous, a déclaré Eli Sugarman, vice-président du conseil d'administration de ROOST. « Grâce à son engagement démontré en faveur de la sécurité de l’open source, Roblox est dans une excellente position pour partager son approche innovante afin d’aider à protéger l’ensemble de la communauté en ligne. »

C'est un grand moment pour toute la communauté en ligne, et notre travail sur les outils open-source en est un élément majeur. Nous pensons que l'IA est une technologie qui devrait être fondée sur la transparence et l'ouverture, et nous nous engageons à être un partenaire solide de la communauté de l'IA à code source ouvert.

Contribuer à la technologie de la communauté Open-Source

Le fait d'être un partenaire fondateur de ROOST va de pair avec notre approche de la contribution technologique à la communauté des logiciels libres. C’est un voyage que nous avons commencé l’année dernière lorsque nous avons ouvert notre modèle de classificateur de sécurité vocal, qui peut détecter les violations de notre politique avec plus de précision que les modérateurs humains à une échelle de millions de minutes d’activité vocale par jour. Depuis, il a été téléchargé près de 22 000 fois.

Nous avons maintenant une version mise à jour de ce modèle en production qui gère sept nouvelles langues (espagnol, allemand, français, portugais, italien, coréen et japonais) et applique de nouvelles techniques qui rendent le modèle plus efficace. Il s'agit notamment d'une architecture d'un programme de training pour l'affinement des labels humains, de l'élargissement des domaines d'abus et de l'ajout de fonctions d'extraction et de réduction du temps plus efficaces. Nous prévoyons d'ouvrir la nouvelle version du modèle d'ici la fin du premier trimestre 2025. À l'avenir, nous prévoyons également d'ouvrir les modèles de classification pour d'autres modalités dans le courant de l'année.

L'ouverture de nos outils fait partie de notre identité, tant pour certains de nos travaux de sécurité que pour la création. L’année dernière, par exemple, nous avons dévoilé notre modèle de base 3D, qui aidera les créateurs à intégrer de nombreux types d’outils de génération automatique dans leurs expériences.

Nous sommes ravis d'être un partenaire fondateur de la communauté ROOST, et nous souhaitons collaborer avec d'autres leaders dans ce domaine et contribuer autant que possible à faire de l'internet un endroit plus sûr.