Dimensionando segurança e civilidade na Roblox

• A Roblox sempre foi projetada para proteger os usuários mais jovens; estamos agora nos adaptando a um público crescente de usuários mais velhos.
• Com texto, voz, visual, modelos 3D e código, a Roblox habita uma posição única para obter sucesso com soluções multimodais de IA.
• Trabalhamos para melhorar a segurança do setor sempre que possível, via colaboração com parceiros, trabalho em código aberto e apoio a legislação.

Segurança e civilidade são fundamentais na Roblox desde sua concepção, quase duas décadas atrás. Logo no primeiro dia, nos comprometemos a criar funcionalidades e ferramentas de segurança, além de capacidade de moderação, no design dos produtos. Antes de lançarmos cada nova funcionalidade, já começamos a pensar em como resguardar a comunidade de possíveis perigos. Esse processo de projetar funcionalidades para segurança e segurança logo de começo, incluindo testagens preliminares para ver como é possível abusar de uma novidade, nos ajuda a inovar. Vamos sempre avaliar as tecnologias e pesquisas mais recentes disponíveis para manter nossas políticas, ferramentas e sistemas o mais precisos e eficientes possível.

Quando se trata de segurança, a Roblox está em uma posição única. A maioria das plataformas começa como um lugar para adultos e agora trabalham retroativamente para desenvolver proteções para crianças e adolescentes. Mas a nossa plataforma foi desenvolvida logo de começo como um lugar de segurança e proteção para crianças criem e aprendam, e agora estamos nos adaptando ao amadurecimento de um público crescente. Além disso, o volume de conteúdo que moderamos cresceu exponencialmente, graças às novas funcionalidades e ferramentas generativas de IA que impelem ainda mais gente a criar e se comunicar com facilidade na Roblox. Esses não são desafios inesperados: nossa missão é conectar um bilhão de pessoas com otimismo e civilidade. Estamos sempre de olho no futuro para entender de que novas políticas e ferramentas precisamos conforme crescemos e nos adaptamos.

Muitas das nossas funcionalidades e ferramentas de segurança têm como base soluções inovadoras de IA implementadas com um time de milhares, todo dedicado à segurança. Essa mistura estratégica de humanos experientes e automação inteligente é fundamental para dimensionar o volume de conteúdo moderado 24 horas por dia, 7 dias por semana. Também acreditamos em fomentar parcerias com organizações focadas em segurança on-line, e, quando relevante, apoiamos legislação que para nós deve melhorar o setor como um todo.

Na vanguarda da IA para aumentar a escala com segurança

A grande escala da nossa plataforma exige sistemas de IA que atinjam ou superem os padrões de vanguarda da indústria em questão de precisão e eficiência, possibilitando uma resposta rápida conforme a comunidade cresce, as políticas e os requisitos evoluem e novos desafios surgem. Hoje, mais de 71 milhões de usuários ativos diários em 190 países se comunicam e compartilham conteúdo na Roblox. Todos os dias, pessoas mandam bilhões de mensagens de chat aos amigos na Roblox. Nossa Loja do Criador tem milhões de itens à venda, e criadores adicionam avatares e itens novos ao Mercado todos os dias. E isso só vai crescer, conforme continuarmos a crescer e permitir novos meios de criação e comunicação na Roblox.

Conforme o setor cresce mais e mais com o aprendizado de máquina, modelos de linguagem de grande escala e IA multimodal, investimos pesado em jeitos de aproveitar essas novas soluções para deixar a Roblox ainda mais segura. As soluções de IA já nos ajudam a moderar chat de texto, comunicação por voz imersiva, imagens e malhas e modelos 3D. Agora estamos usando várias dessas mesmas tecnologias para que a criação na Roblox fique mais rápida e fácil para a comunidade.

Inovação com sistemas de IA multimodal

Pela sua própria natureza, nossa plataforma combina texto, voz, imagens, modelos 3D e código. A IA multimodal, em que vários sistemas são treinados com vários tipos de dados juntos para produzir resultados mais precisos e sofisticados do que um sistema unimodal, representa uma oportunidade diferenciada à Roblox. Sistemas multimodais são capazes de detectar combinações de tipos de conteúdo (como imagens e texto, por exemplo) que podem ser problemáticas de um jeito que elementos individuais não são. Para imaginar uma situação assim, imagine que uma criança está usando um avatar que pareça um porco. Não tem problema, né? Agora imagine que outra pessoa manda uma mensagem no chat, dizendo, "Parece igual a você!". Essa mensagem pode violar nossas políticas de bullying.

Um modelo treinado apenas em modelos 3D aprovaria o avatar. E um modelo treinado apenas em texto aprovaria a mensagem, ignorando o contexto do avatar. Só algo treinado em texto e modelos 3D conseguiria detectar e indicar o problema no exemplo. Estamos ainda no começo do desenvolvimento desses modelos multimodais, mas já vemos um mundo, num futuro não muito distante, em que nossos sistemas rajam a uma denúncia de violação analisando uma experiência toda. O modelo processaria o código, os visuais, os avatares e a comunicação na experiência como dados de entrada para determinar se é preciso investigar mais ou já aferir uma consequência.

Já fizemos bons avanços com técnicas multimodais, como nosso modelo que detecta violações de política em comunicações por voz em tempo real. Queremos compartilhar avanços como esses quando virmos a oportunidade de aumentar a segurança e a civilidade, não só na Roblox como em todo o setor. Na verdade, estamos compartilhando nosso primeiro modelo de código aberto, um classificador de segurança de voz, com a indústria.

Moderando conteúdo em grande escala

Na Roblox, analisamos a maioria dos tipos de conteúdo para encontrar infrações críticas das nossas políticas antes que elas apareçam na plataforma. Fazer isso sem causar atrasos perceptíveis para os que publicam o conteúdo requer velocidade e precisão na mesma medida. Soluções inovadoras de IA nos ajudam a tomar melhores decisões em tempo real para ajudar a manter o conteúdo problemático fora da Roblox. E, se algo chegar à plataforma, temos sistemas para identificar e remover dito conteúdo, inclusive nossos robustos sistemas de denúncias de usuários.

Vimos a precisão das ferramentas de moderação automatizadas superarem a de moderadores humanos no que diz respeito a tarefas simples e repetíveis. Ao automatizar esses casos simples, permitimos que os moderadores humanos passem o grosso do tempo no que fazem de melhor: as tarefas mais complexas que exigem pensamento crítico e investigação aprofundada. Mas quando o assunto é segurança, sabemos que automação não tem como substituir por completo a análise humana. Nossos moderadores humanos são inestimáveis para nos ajudar a supervisionar e testar os modelos de máquina em busca de qualidade e consistência, além de criar conjuntos de dados rotulados de alta qualidade para manter os sistemas sempre atualizados. Eles ajudam a identificar novas gírias e abreviações em todos os 16 idiomas suportados e a indicar casos que aparecem tão frequentemente que o sistema pode ser treinado para reconhecê-los.

Sabemos que mesmo sistemas automatizados de alta qualidade podem cometer erros, então temos moderadores humanos nos processos de recurso. Nossos moderadores nos ajudam a sermos justos com quem recorre a uma decisão e podem indicar a necessidade de mais treinamento nos tipos de casos em que erros ocorrem. Com isso, o nosso sistema fica cada vez mais preciso ao longo do tempo, aprendendo com os próprios erros.O mais importante: humanos estão sempre envolvidos em qualquer investigação crítica envolvendo casos de maior risco, como extremismo ou crianças em risco. Para esses casos, temos um pessoal trabalhando para identificar e remover proativamente atores nocivos e investigar casos difíceis nas nossas áreas mais críticas. Esse time também se junta ao time de produtos, compartilhando informações do trabalho que fazem para sempre melhorar a segurança da plataforma e dos produtos.

Moderação da comunidade

Nosso filtro de texto foi treinado em um linguajar específico da Roblox, incluindo gírias e abreviações. As 2,5 bilhões de mensagens de chat enviadas todos os dias na Roblox passam por esse filtro, que é excelente em detectar linguajar que viole a política. Esse filtro detecta violações em todos os idiomas suportados, o que é ainda mais importante agora que lançamos traduções de chat de IA em tempo real.

Já falamos de como moderamos comunicação por voz em tempo real por meio de um sistema interno e personalizado de detecção de voz. A inovação aqui é poder ir direto de um áudio ao vivo a ter um sistema de IA rotulando o áudio como violação de política ou não, em questão de segundos. Quando começamos a testar nosso sistema de moderação de voz, percebemos que, em vários casos, as pessoas estavam violando nossas políticas sem saber, pois não conheciam direito as regras. Desenvolvemos um sistema de segurança em tempo real para ajudar a notificar as pessoas de quando determinada fala viola uma das nossas políticas.

As notificações funcionam como um aviso preliminar e brando, algo como educadamente pedir para cuidar do palavreado em um parque público com criancinhas por perto. Em nossos testes, essas intervenções tiveram sucesso em lembrar as pessoas de manter o ambiente respeitoso, direcionando-as às nossas políticas para saber mais. Comparados com os dados de engajamento, os resultados dos testes são encorajadores e indicam que essas ferramentas podem manter pessoas mal-intencionadas longe da plataforma enquanto encorajam usuários engajados de verdade a melhorar seu comportamento na Roblox. Desde a implementação da segurança em tempo real a todos os falantes de inglês em janeiro, vimos 53% de redução em denúncias de abuso por usuário ativo diário em relação à comunicação por voz.

Moderação das criações

Para ativos físicos, incluindo avatares e acessórios, usamos visão de computador. Uma técnica envolve tirar fotos do item de vários ângulos. O sistema então analisa as fotos para determinar qual deve ser o próximo passo. Se nada parece errado, o item é aprovado. Se houver algo claramente violando uma política, o item é bloqueado e avisamos o criador do possível problema. Se o sistema não tiver certeza, o item é enviado para um moderador humano dar uma olhada mais de perto e tomar a decisão.

Realizamos uma versão desse mesmo processo para avatares, acessórios, código e modelos 3D. Para modelos inteiros, vamos um passo além e avaliamos todo o código e os outros elementos que compõem o modelo. Se estamos avaliando um carro, nós o dividimos em componentes: volante, assentos, pneus e o código subjacente a tudo, para determinar se pode haver algum problema. Se houver um avatar que pareça um cãozinho, temos que avaliar se as orelhas, o nariz e a língua são problemáticos.

Temos que poder avaliar em outra direção também. E se os componentes individuais são todos inocentes, mas o efeito geral viola nossa política? Um bigode, um casaco cáqui e uma braçadeira vermelha, por exemplo, não são problemáticos por si só. Mas imagine tudo isso reunido no avatar de alguém, com um símbolo cruzado na braçadeira e um braço erguido numa saudação nazista. Aí o problema fica claro.

É nesse sentido que nossos modelos internos divergem dos que se encontram à venda. Em geral, são treinados em itens do mundo real. Podem reconhecer um carro ou um cão, mas não os componentes dessas coisas. Nossos modelos foram treinados e otimizados para avaliar itens até em seus menores componentes.

Colaboração com parceiros

Usamos todas as ferramentas disponíveis para garantir a segurança de todos na Roblox, mas também queremos compartilhar o que aprendemos além da Roblox. Na verdade, estamos compartilhando nosso primeiro modelo de código aberto, um classificador de segurança de voz, para ajudar outras instituições a melhorarem seus próprios sistemas. Também colaboramos com grupos externos para compartilhar conhecimento e boas práticas com a evolução do setor. Construímos e mantemos um relacionamento próximo com uma ampla gama de organizações, incluindo grupos de defesa parental, organizações de saúde mental, agências governamentais e agências das forças da lei. Assim, podemos entender melhor as preocupações que pais, autoridades e outros grupos têm em relação à segurança online. Em troca, podemos compartilhar o que aprendemos e a tecnologia que usamos para manter a plataforma segura e civilizada.

Temos um bom histórico de colocar a segurança dos mais jovens e vulneráveis na plataforma em primeiro lugar. Estabelecemos programas, como nossos Denunciadores de Confiança, para ajudar a dimensionar nosso alcance conforme trabalhamos para proteger gente na plataforma. Colaboramos com as autoridades em iniciativas fundamentais de segurança infantil, legislação e outros esforços. Por exemplo, fomos a primeira e uma das únicas empresas a apoiar o projeto de lei de Design Adequado à Idade na Califórnia, porque acreditamos que seria bom para os mais novos. Quando acreditamos que algo vá beneficiar os jovens, queremos propagá-lo a todos. Há pouco tempo, assinamos uma carta de apoio ao projeto SB 933 da Califórnia, que atualiza as leis estaduais para proibir expressamente material de abuso sexual infantil gerado por IA.

Trabalhando por um futuro mais seguro

Este trabalho nunca termina. Já estamos trabalhando na próxima geração de ferramentas e funcionalidades de segurança enquanto facilitamos a criação na Roblox. Conforme crescemos e proporcionamos novos meios de criar e compartilhar, continuamos a desenvolver soluções inéditas e inovadoras para manter a segurança e a civilidade na Roblox... e além.