Como se tornar um parceiro fundador de uma nova iniciativa de código aberto é essencial para a nossa abordagem de segurança on-line

• IA se tornou fundamental para nossas operações de segurança na Roblox e aplicamos nossos modelos às comunicações de texto e voz, imagens, modelos 3D e malhas.

• Promover a segurança do usuário, principalmente de nossos usuários mais novos, sempre foi nossa prioridade e é por isso que continuamos a investir e melhorar nossos sistemas de segurança.

• Contribuir para a comunidade de código aberto é importante para nós. E estamos expandindo nossa liderança na tecnologia de segurança tornando-se um parceiro fundador da ROOST, uma nova organização sem fins lucrativos dedicada a abordar áreas importantes no domínio da segurança digital, promovendo ferramentas de segurança de código aberto.

• Nós também estamos oferecendo o código aberto de uma nova versão do nosso modelo de classificação de segurança de voz (um modelo de 94 milhões de parâmetros processando até 400 mil horas de fala ativa diariamente em nossa plataforma) e planejamos lançar mais modelos de segurança de código aberto com IA no futuro.

Promover a segurança e civilidade é fundamental para a Roblox desde sua concepção quase duas décadas atrás. Criar sistemas para promover segurança para todos é um grande esforço, principalmente em nossa escala global e com todos os diferentes tipos de conteúdo que suportamos. É por isso que investimos bastante em infraestrutura, IA e humanos. Com centenas de modelos em produção, quase toda interação na Roblox é potencializada por IA de alguma forma.

No quarto trimestre de 2024, nossos usuários enviaram mais de 300 bilhões de itens de conteúdo abrangendo vídeo, áudio, texto, chat de voz, avatares e experiências 3D. No entanto, apenas 0,01% desse conteúdo foi detectado violando nossas políticas e a maior parte disso não foi visto pelos usuários porque foi proativamente moderado. Também inventamos uma IA fundamental de alto desempenho para manter segura toda a nossa gama de modalidades de conteúdo e comunicação. Esses modelos funcionam em mais de 4 bilhões de mensagens de texto por dia com apenas milissegundos de latência, e milhões de horas de voz e itens de conteúdo. Estamos comprometidos a detectar conteúdo ruim e tomar decisões de moderação em escala.

Segurança é algo que transcende a Roblox. Enquanto que podemos ajudar a proteger nossos usuários quando eles estiverem em nossa plataforma, temos poderes limitados para fazer o mesmo quando eles não estão na Roblox. De fato, empresas de internet em todo o mundo enfrentam esses desafios quando seus usuários se movem de uma plataforma para outra. Assim, ao longo dos anos, assumimos uma função de liderança na promoção de práticas de segurança e civilização on-line juntando a organizações como o Instituto de Segurança Online da Família e a Coligação de Tecnologia.

Agora, estamos orgulhosos de expandir a nossa posição de liderança em segurança on-line, tornando-se um parceiro fundador juntamente com Google, OpenAI, Discord e outros da ROOST (Robust Open Online Safety Tools - Ferramentas Abertas Robustas de Segurança On-line, em inglês). Esta nova organização sem fins lucrativos é dedicada a abordar áreas importantes da segurança digital, especialmente a segurança das crianças online, através da construção escalável de ferramentas de segurança interoperáveis e resilientes, adequadas para a era da IA.

A ROOST irá desenvolver, manter e distribuir recursos de segurança de código aberto gratuito que organizações públicas e privadas de todos os tamanhos - muitas das quais não têm acesso à tecnologia de segurança básica - podem empregar para melhorar seus sistemas para manter seus usuários seguros. Isso permitirá que eles concentrem suas energias no crescimento de seus negócios.

Estamos animados em ajudar a melhorar a segurança da internet e, para este fim, também assumiremos a co-presidência do comitê do conselho de tecnologia da ROOST. Isso nos dará a oportunidade de compartilhar o que aprendemos e de informar e apoiar o trabalho e estratégia técnica da organização.

Tornar-se um parceiro fundador da ROOST nos permite contar com a a especialização em modelagem de máquina da comunidade ROOST para avançar as técnicas de segurança que usamos e compartilhamos. Isso é excitante porque a ROOST está trabalhando em três áreas principais de segurança on-line que são críticas para a missão da Roblox e de outras plataformas online. Isso inclui:

• Melhorar a segurança das crianças, incluindo o desenvolvimento de poderosos classificadores de materiais de abuso sexual de crianças (classificadores CSAM)

• Construir melhor infra-estrutura de segurança, como consoles de revisão, motores heurísticos e coletar e curar mais exemplos de treinamento, amostras estatísticas, rótulos e treinamento de humanos nesses casos de uso.

• Criação de grandes modelo de linguagem (LLMs) potencializado por salvaguardas de conteúdo que alavancam as IAs para revisar e treinar moderadores para aplicar as políticas.

"Ter um líder global em segurança on-line como a Roblox juntando-se à ROOST como um parceiro fundador é uma enorme oportunidade para nós", disse o vice presidente da mesa diretora da ROOST, Eli Sugarman. "Com o seu compromisso demonstrado com a segurança de código aberto, a Roblox está em uma grande posição para compartilhar sua abordagem inovadora para ajudar a proteger toda a comunidade on-line."

Este é um grande momento para toda a comunidade on-line e o nosso trabalho em ferramentas de código aberto é um importante elemento. Pensamos que IA é uma tecnologia que deve ser construída com transparência e abertura e nos comprometemos a ser um parceiro forte na comunidade de código aberto de IA.

Contribuindo com tecnologia para a comunidade de código aberto

Ser um parceiro fundador da ROOST acompanha a nossa abordagem de contribuir com a tecnologia para a comunidade de código aberto. Esta é uma jornada que começamos no ano passado quando abrimos o modelo do nosso classificador de segurança de voz , que detecta violações da política com mais precisão do que moderadores humanos a uma escala de milhões de minutos de atividade de voz por dia. Desde então, o modelo foi baixado quase 22.000 vezes.

Agora temos uma versão atualizada do modelo em produção que lida com sete novos idiomas: espanhol, alemão, francês, português, italiano, coreano e japonês, e aplica novas técnicas que tornam o modelo mais eficaz. Isso inclui uma arquitetura de treinamento de currículo para ajuste de rótulo humano, expansão de cabeças de abuso e adição de extração de recursos mais eficiente e camadas de redução de tempo. Planejamos um código aberto na nova versão do modelo até ao final do primeiro trimestre de 2025. Olhando para o futuro, também planejamos para este ano modelos de classificação de fontes abertas para outras modalidades.

A abertura de nossas ferramentas faz parte de quem somos, tanto com parte do nosso trabalho em matéria de segurança como com em relação à criação. Ano passado, por exemplo, revelamos nosso Modelo Fundamental 3D, que ajuda criadores a integrar muitos tipos de ferramentas de geração automática em suas experiências.

Estamos animados para sermos um parceiro fundador da comunidade ROOST e tentamos colaborar com outros líderes na área e contribuir com tudo o que pudermos para tornar a Internet um lugar mais seguro.