Seguridad y civismo en Roblox

• Roblox siempre se diseñó para proteger a nuestros usuarios más jóvenes; ahora nos estamos adaptando a un público cada vez mayor de usuarios de más edad.
• Con texto, voz, imágenes, modelos 3D y código, Roblox se encuentra en una posición única para triunfar con las soluciones de IA multimodal.
• Mejoramos la seguridad en todo el sector siempre que podemos, a través del código abierto, la colaboración con los socios o el apoyo a la legislación.

La seguridad y el civismo han sido fundamentales en Roblox desde su creación hace casi dos décadas. Desde el primer día, nos comprometimos a incorporar funciones de seguridad, herramientas y capacidades de moderación en el diseño de nuestros productos. Antes de lanzar cualquier función nueva, ya habíamos pensado en cómo mantener a la comunidad a salvo de posibles daños. Este proceso de diseñar las funciones de seguridad y civismo desde el principio, que incluye realizar pruebas tempranas para ver cómo podría utilizarse indebidamente una función nueva, nos ayuda a innovar. Hacemos una evaluación continua de las últimas investigaciones y tecnologías disponibles para que nuestras políticas, herramientas y sistemas sean lo más precisos y eficaces posible.

En materia de seguridad, Roblox ocupa una posición privilegiada. La mayoría de las plataformas empezaron siendo un lugar para las personas adultas y ahora trabajan de manera retroactiva para incorporar protecciones para las personas en etapas de adolescencia y niñez. Pero nuestra plataforma se desarrolló desde el principio como un espacio seguro y protector para que la niñez creara y aprendiera, y ahora nos estamos adaptando a un público en rápido crecimiento que está envejeciendo. Además, el volumen de contenidos que moderamos ha crecido exponencialmente, gracias a funciones y herramientas de IA generativa nuevas y emocionantes que le permiten a un número aún mayor de personas crear y comunicarse fácilmente en Roblox. No son retos inesperados: nuestra misión es conectar a mil millones de personas con optimismo y civismo. Siempre vemos al futuro para saber qué nuevas políticas y herramientas de seguridad necesitaremos a medida que crezcamos y nos adaptemos.

Muchas de nuestras funciones y herramientas de seguridad se basan en soluciones innovadoras de IA que funcionan junto a un equipo experto de miles de personas dedicadas a la seguridad. Esta combinación estratégica de humanos experimentados y automatización inteligente es imprescindible a medida que trabajamos para ampliar el volumen de contenidos que moderamos 24 horas al día, 7 días a la semana. También creemos en fomentar las asociaciones con organizaciones centradas en la seguridad en línea y, cuando sea pertinente, apoyamos la legislación que creemos firmemente que mejorará el sector en su conjunto.

Liderar con IA para escalar de forma segura

El enorme tamaño de nuestra plataforma exige sistemas de IA que cumplan o superen los parámetros de precisión y eficacia líderes del sector, lo que nos permite responder con rapidez a medida que crece la comunidad, evolucionan las políticas y los requisitos, y surgen nuevos retos. En la actualidad, más de 71 millones de usuarios activos diarios de 190 países se comunican y comparten contenidos en Roblox. Cada día, la gente envía miles de millones de mensajes de chat a sus amigos en Roblox. Nuestra tienda de creadores tiene millones de artículos a la venta, y los creadores añaden nuevos avatares y artículos al mercado todos los días. Y esto no hará más que aumentar a medida que sigamos creciendo y habilitando nuevas formas para que la gente cree y se comunique en Roblox.

A medida que la industria en general da grandes saltos en el aprendizaje automático (ML), los grandes modelos de lenguaje (LLM) y la IA multimodal, invertimos mucho en formas de aprovechar estas nuevas soluciones para hacer que Roblox sea aún más seguro. Las soluciones de IA ya nos ayudan a moderar el chat de texto, la comunicación de voz inmersiva, las imágenes y los modelos y mallas en 3D. Ahora utilizamos muchas de estas mismas tecnologías para que crear en Roblox sea más rápido y sencillo para nuestra comunidad. 

Innovar con sistemas de IA multimodales

Por su propia naturaleza, nuestra plataforma combina texto, voz, imágenes, modelos 3D y código. La IA multimodal, en la que los sistemas se entrenan con varios tipos de datos juntos para producir resultados más precisos y sofisticados que un sistema unimodal, presenta una oportunidad única para Roblox. Los sistemas multimodales son capaces de detectar combinaciones de tipos de contenido (como imágenes y texto) que pueden ser problemáticas de un modo en que los elementos individuales no lo son. Imaginemos que un niño utiliza un avatar que se ve como un cerdo, lo cual está bien, ¿cierto? Ahora imagina que otra persona envía un mensaje de chat que dice “¡Se parece a ti!”. Ese mensaje podría infringir nuestras políticas en materia de acoso.

Un modelo entrenado solo con modelos 3D aprobaría el avatar. Y un modelo entrenado solo con texto aprobaría el texto e ignoraría el contexto del avatar. Solo algo entrenado tanto con texto como con modelos 3D sería capaz de detectar y señalar rápidamente el problema en este ejemplo. Estos modelos multimodales apenas están en su etapa inicial, pero vemos un mundo, en un futuro no muy lejano, en el que nuestro sistema responda a una denuncia de abuso revisando toda una experiencia. Podría procesar el código, los visuales, los avatares y las comunicaciones que contiene como datos de entrada y determinar si se justifica una investigación más profunda o una consecuencia.

Ya logramos avances significativos utilizando técnicas multimodales, como nuestro modelo que detecta infracciones de las políticas en las comunicaciones de voz casi en tiempo real. Tenemos la intención de compartir avances como estos cuando veamos la oportunidad de aumentar la seguridad y el civismo no solo en Roblox, sino en todo el sector. De hecho, estamos compartiendo con la industria nuestro primer modelo de código abierto, un clasificador de seguridad de voz.

Moderación de contenidos a escala

En Roblox, revisamos la mayoría de los tipos de contenido para detectar infracciones graves de las políticas antes de que aparezcan en la plataforma. Hacerlo sin causar retrasos notables a las personas que publican sus contenidos requiere rapidez y precisión. Las soluciones revolucionarias de IA nos ayudan a tomar mejores decisiones en tiempo real para mantener los contenidos problemáticos fuera de Roblox y, si algo llega a la plataforma, disponemos de sistemas para identificar y eliminar esos contenidos, como nuestros robustos sistemas de reporte de usuarios. 

Comprobamos que la precisión de nuestras herramientas de moderación automática supera a la de los moderadores humanos cuando se trata de tareas repetibles y sencillas. Al automatizar estos casos más sencillos, liberamos a nuestros moderadores humanos para que dediquen la mayor parte de su tiempo a lo que mejor saben hacer: tareas más complejas que requieren de pensamiento crítico e investigación más profunda. Sin embargo, cuando se trata de seguridad, sabemos que la automatización no puede sustituir por completo a la revisión humana. Nuestros moderadores humanos tienen un valor incalculable para ayudarnos a supervisar y probar continuamente la calidad y coherencia de nuestros modelos de aprendizaje automático, así como para crear conjuntos de datos etiquetados de gran calidad para mantener nuestros sistemas actualizados. Ayudan a identificar jergas y abreviaturas nuevas en los 16 idiomas que soportamos y marcan los casos que aparecen con frecuencia para que el sistema pueda entrenarse para reconocerlos.

Sabemos que incluso los sistemas de aprendizaje automático de gran calidad pueden cometer errores, por lo que contamos con moderadores humanos en nuestro proceso de apelación. Nuestros moderadores nos ayudan a corregir la situación de la persona que presentó la apelación, y pueden señalar la necesidad de más entrenamiento en los tipos de casos en los que se cometieron errores. De este modo, nuestro sistema se vuelve cada vez más preciso con el tiempo, aprendiendo esencialmente de sus errores.Y lo que es más importante, los seres humanos siempre participan en cualquier investigación crítica que implique casos de alto riesgo, como el extremismo o los casos de menores que corren peligro. Para estas situaciones, contamos con un equipo interno especializado que trabaja para identificar y eliminar de forma proactiva a los infractores y para investigar casos difíciles en nuestras áreas más críticas. Este equipo también colabora con nuestro equipo de productos, compartiendo información sobre el trabajo que realizan para mejorar continuamente la seguridad de nuestra plataforma y nuestros productos.

Moderar la comunicación

Nuestro filtro de texto fue entrenado en el lenguaje específico de Roblox, incluyendo jerga y abreviaturas. Los 2500 millones de mensajes de chat que se envían cada día en Roblox pasan por este filtro, que es experto en detectar el lenguaje que viola las normas. Este filtro detecta las infracciones en todos los idiomas que admitimos, lo que es especialmente importante ahora que lanzamos la tecnología de traducciones del chat por IAen tiempo real. 

Ya explicamos cómo moderamos la comunicación de voz en tiempo real mediante un sistema interno de detección de voz personalizado. La innovación aquí es la capacidad de pasar directamente del audio en directo a que el sistema de IA etiquete el audio como infractor de la política, o no, en cuestión de segundos. Cuando empezamos a probar nuestro sistema de moderación por voz, descubrimos que, en muchos casos, la gente infringía involuntariamente nuestras políticas porque no estaban familiarizados con nuestras normas. Desarrollamos un sistema de seguridad en tiempo real para ayudar a notificar a las personas cuando su discurso infringe una de nuestras políticas.

Estas notificaciones son una advertencia temprana y leve, similar a que te pidan de forma educada que cuides tu lenguaje en un parque público donde hay niños pequeños. En las pruebas, estas intervenciones demostraron su eficacia a la hora de recordarles a las personas que deben ser respetuosas y dirigirlas a nuestras políticas para obtener más información. Cuando se comparan con los datos de participación, los resultados de nuestras pruebas son alentadores e indican que estas herramientas pueden mantener a los infractores fuera de la plataforma de forma eficaz, al tiempo que animan a los usuarios realmente comprometidos a mejorar su comportamiento en Roblox. Desde enero, cuando desplegamos la seguridad en tiempo real para todos los usuarios de habla inglesa, observamos una reducción del 53 % en las denuncias de abusos por usuario activo diario, cuando están relacionadas con la comunicación de voz.

Moderar la creación

Para los activos visuales, incluidos los avatares y sus accesorios, utilizamos la visión por ordenador (CV). Una técnica consiste en tomar fotografías del objeto desde múltiples ángulos. El sistema revisa esas fotografías para determinar cuál debe ser el siguiente paso. Si nada parece estar mal, el objeto es aprobado. Si algo claramente viola una política, el objeto sea bloquea y le decimos al creador lo que creemos que es incorrecto. Si el sistema no está seguro, el objeto se envía a un moderador humano para que lo examine con más detalle y tome la decisión final.

Hacemos una versión de este mismo proceso para avatares, accesorios, código y modelos 3D completos. En el caso de los modelos completos, vamos un paso más allá y evaluamos todo el código y demás elementos que componen el modelo. Si estamos evaluando un coche, separamos sus componentes: volante, asientos, neumáticos, y el código que hay detrás de cada cosa, para determinar si alguna puede ser problemática. Si hay un avatar que parece un cachorro, tenemos que evaluar si las orejas, la nariz y la lengua son problemáticas. 

También debemos ser capaces de realizar la evaluación de manera inversa. ¿Y si los componentes individuales están perfectamente bien pero su efecto global viola nuestras políticas? Un bigote, una chamarra caqui y un brazalete rojo, por ejemplo, no son problemáticos por sí solos. Pero imagínatelos reunidos en el avatar de alguien, con un símbolo en forma de cruz en el brazalete y un brazo levantado en señal de saludo nazi. El problema se hace evidente.

Aquí es donde nuestros modelos internos difieren de los modelos de CV disponibles en el mercado. Por lo general, se les entrena con objetos del mundo real. Pueden reconocer un coche o un perro, pero no sus componentes. Nuestros modelos fueron entrenados y optimizados para evaluar los objetos hasta en sus componentes más pequeños.

Colaboración con socios

Utilizamos todas las herramientas a nuestro alcance para mantener a salvo a todo el mundo en Roblox, pero también nos preocupa compartir lo que aprendemos más allá de Roblox. De hecho, estamos compartiendo nuestro primer modelo de código abierto, un clasificador de seguridad de voz, para ayudar a otros a mejorar sus propios sistemas de seguridad de voz. También colaboramos con grupos de terceros para compartir el conocimientos y las buenas prácticas a medida que evoluciona el sector. Construimos y mantenemos relaciones estrechas con una amplia gama de organizaciones, como grupos de defensa de los padres, organizaciones de salud mental, organismos gubernamentales y agencias de seguridad. Estas organizaciones nos aportan información valiosa sobre las preocupaciones que existen entre los padres, los responsables políticos y otros grupos acerca de la seguridad en línea. A cambio, podemos compartir nuestros conocimientos y la tecnología que utilizamos para mantener la plataforma segura y civilizada.

Tenemos un historial de priorizar la seguridad de los más jóvenes y vulnerables dentro de nuestra plataforma. Tenemos programas establecidos, como nuestro programa de Denunciantes de confianza, para ayudarnos a ampliar nuestro alcance mientras trabajamos para proteger a las personas en nuestra plataforma. Colaboramos con los responsables políticos en iniciativas clave de seguridad infantil, legislación y otros esfuerzos. Por ejemplo, fuimos la primera y una de las únicas empresas en apoyar la Ley del Código de Diseño Adecuado para la Edad de California, porque creemos que busca el beneficio de la juventud. Cuando creemos que algo ayudará a la juventud, queremos que se propague a todo el mundo. Más recientemente, firmamos una carta de apoyo alproyecto de ley SB 933 de California, que actualiza las leyes estatales para prohibir expresamente el material de abuso sexual infantil generado por IA. 

Hacia un futuro más seguro

Este trabajo nunca termina. Ya estamos trabajando en la próxima generación de herramientas y funciones de seguridad, al tiempo que facilitamos que cualquiera pueda crear en Roblox. A medida que crezcamos y ofrezcamos formas nuevas para crear y compartir, seguiremos desarrollando soluciones nuevas y revolucionarias para mantener a todo el mundo seguro y civilizado en Roblox, y más allá.