Cómo convertirnos en un socio fundador de una nueva iniciativa de código abierto es un componente clave de nuestro enfoque en la seguridad en línea

• En Roblox, la IA se ha convertido en la base de nuestro enfoque de la seguridad, y aplicamos nuestros modelos a las comunicaciones de texto y voz, las imágenes, los modelos 3D y las mallas.

• Nuestra principal prioridad siempre ha sido garantizar la seguridad de nuestros usuarios, especialmente de los más jóvenes. Por eso, continuamos invirtiendo y mejorando nuestros sistemas de seguridad.

• Contribuir a la comunidad de código abierto es importante para nosotros. Estamos ampliando nuestra posición de liderazgo en tecnología de seguridad convirtiéndonos en socio fundador de ROOST, una nueva organización sin ánimo de lucro dedicada a abordar áreas importantes de la seguridad digital mediante la promoción de herramientas de seguridad de código abierto.

• Además, estamos lanzando una nueva versión de nuestro modelo clasificador de seguridad de voz (un modelo de 94 millones de parámetros que procesa hasta 400,000 horas diarias de voz activa en nuestra plataforma). Tenemos la intención de lanzar modelos de inteligencia artificial de seguridad de código abierto adicionales en el futuro.

Promover la seguridad y el civismo ha sido fundamental para Roblox desde nuestros inicios hace casi dos décadas. Es un gran reto diseñar sistemas que garanticen la seguridad de todos, especialmente a escala global y dada la diversidad de contenido que alojamos. Por esta razón, realizamos grandes inversiones en infraestructura, IA y capital humano. Con cientos de modelos en producción, casi cada interacción en Roblox es alimentada de alguna manera por la IA.

En el último trimestre del 2024, se subieron 300 mil millones de piezas de contenido a nuestras plataformas, incluyendo video, audio, texto, chat de voz, avatares y experiencias 3D. Sin embargo, solo el 0.01% de ese contenido se identificó como una infracción de nuestras políticas. La mayor parte de este contenido no fue visto por los usuarios gracias a la moderación proactiva. Hemos desarrollado una inteligencia artificial de alto rendimiento esencial para la protección de nuestra gama completa de modalidades de comunicación y contenido. Estos modelos procesan más de 4 mil millones de mensajes de texto al día, así como millones de horas de voz y piezas de contenido con una latencia de milisegundos. Nos dedicamos a identificar contenido inapropiado y a tomar decisiones de moderación a gran escala.

La seguridad es algo que trasciende Roblox. Nuestra capacidad para proteger a los usuarios es limitada cuando no están interactuando con nuestra plataforma, aunque podemos ayudar a protegerlos mientras están en Roblox. De hecho, las compañías de Internet de todo el mundo se enfrentan a estos desafíos cuando sus usuarios pasan de una plataforma a otra. Por lo tanto, hemos asumido un papel de liderazgo en la promoción de la seguridad en línea y las prácticas cívicas a lo largo de los años al unirnos a organizaciones como Family Online Safety Institute y Tech Coalition.

Nos enorgullece expandir nuestro liderazgo en seguridad en línea al asociarnos con Google, OpenAI, Discord y otros como miembros fundadores de ROOST (Robust Open Online Safety Tools). Esta organización sin fines de lucro se centra en la seguridad digital, especialmente para los niños, creando herramientas de seguridad escalables, interoperables y robustas para la era de la inteligencia artificial.

ROOST creará, mantendrá y distribuirá recursos de seguridad gratuitos y de código abierto, disponibles para organizaciones públicas y privadas de todos los tamaños, con el objetivo de mejorar sus sistemas y mantener seguros a los usuarios. Muchas de estas organizaciones actualmente carecen de acceso a tecnología de seguridad básica. Esto les permitirá centrar sus energías en hacer crecer sus negocios.

Nos entusiasma contribuir a reforzar la seguridad en Internet y, para ello, vamos a copresidir el comité asesor tecnológico de ROOST. Esto nos permitirá intercambiar conocimientos, así como informar y respaldar la estrategia y el trabajo técnico de la organización.

Asociarnos con ROOST como socio fundador nos da la oportunidad de aprovechar la experiencia de su comunidad en el modelo de aprendizaje automático, lo que nos permitirá mejorar las técnicas de seguridad que ambos utilizamos e intercambiamos. Nos emociona saber que ROOST está desarrollando tres áreas fundamentales de seguridad en línea que son esenciales para Roblox y otras plataformas online. Estas incluyen:

• Mejorar la seguridad de los niños, incluyendo el desarrollo de clasificadores más robustos de abuso sexual de menores (CSAM);

• Mejorar la infraestructura de seguridad mediante la creación de consolas de revisión y motores heurísticos; recopilar, conservar, muestrear y etiquetar estadísticamente más ejemplos de entrenamiento, además de capacitar al capital humano en estos casos de uso.

• Usar modelos de lenguaje de gran tamaño (LLM) impulsados por la IA para desarrollar protecciones de contenido con el fin de revisar y capacitar a los moderadores para garantizar el cumplimiento de las políticas.

"Que un líder mundial en seguridad en línea como Roblox se una a ROOST como socio fundador es una gran oportunidad para nosotros", dijo el vicepresidente de la Junta Directiva de ROOST, Eli Sugarman. "Con el compromiso demostrado con la seguridad del código abierto, Roblox está en una gran posición para compartir su procedimiento innovador y así ayudar a proteger a toda la comunidad en línea".

Este es un momento importante para toda la comunidad en línea, y nuestro trabajo en herramientas de código abierto es un elemento fundamental de ello. La transparencia y la apertura son esenciales para el desarrollo de la IA, por lo que buscamos fomentar una comunidad de IA de código abierto.

Contribuir con la tecnología a la comunidad de código abierto

Nuestro enfoque de proporcionar tecnología a la comunidad de código abierto está estrechamente relacionado con ser un socio fundador de ROOST. El año pasado, comenzamos este viaje al compartir nuestro modelo de clasificador de seguridad de voz de código abierto, que puede identificar con precisión infracciones de políticas a una escala de millones de minutos de actividad de voz por día, superando a los moderadores humanos. Desde entonces, se descargaron casi 22,000 veces.

El modelo de producción actualizado ahora es compatible con siete idiomas adicionales: español, alemán, francés, portugués, italiano, coreano y japonés, y se han implementado nuevas técnicas para mejorar la eficacia del modelo. Entre ellas se incluyen una arquitectura de entrenamiento curricular para el ajuste fino de las etiquetas humanas, la expansión de los cabezales de abuso y la adición de una extracción de características y capas de reducción de tiempo más eficientes. Tenemos previsto publicar la nueva versión del modelo como código abierto a finales del primer trimestre de 2025. También tenemos previsto desarrollar modelos de clasificación para otras modalidades para finales de este año.

La creación y la seguridad son partes fundamentales de nuestra identidad, junto con el intercambio de nuestras herramientas de código abierto. El año pasado, por ejemplo, presentamos nuestro Modelo Fundacional 3D, con el objetivo de ayudar a los creadores a integrar diversas herramientas de generación automática en sus experiencias.

Nos complace enormemente ser uno de los socios fundadores de la comunidad ROOST. Nuestro objetivo es trabajar codo a codo con otros líderes en este espacio y aportar nuestra experiencia para contribuir a que Internet sea un espacio más seguro.