成为新开源倡议的创始合作伙伴如何成为我们线上安全策略的关键

作者Naren Koneru, 工程与安全副总裁
已发布2025年2月10日
  • AI 已成为我们在 Roblox 处理安全问题的基础方法，我们将其模型应用于文本和语音通信、图像以及 3D 模型和网格。

  • 促进用户安全，尤其是我们最年少用户的安全，一直是我们的首要任务；而这也是我们不断投资并优化我们的安全系统的原因。

  • 为开源社区做出贡献对我们而言至关重要。 此外，我们正在通过成为ROOST的创始合作伙伴来拓展我们在安全技术领域的领导地位。ROOST 是一个致力于推动开源安全工具以应对数字安全关键问题的全新的非营利组织。

  • 我们还将开源我们新版的语音安全分类器模型（一个拥有 9400 万参数的模型，每天在我们的平台上处理多达 40 万小时的活跃语音），并计划未来发布更多开源的安全 AI 模型。

自近二十年前成立以来，安全与文明一直是 Roblox 的立足之本。 设计系统以促进针对所有用户的安全是一项重要工作，尤其是在我们的全球规模以及支持各种不同类型内容的情况下。 因此，我们大力投资基础设施、AI 和人才等方方面面。 我们有着数百个上线的模型，几乎每一次 Roblox 上的互动都在某种程度上由 AI 提供支持。

在 2024 年第四季度，我们的用户上传了超过 3000 亿条内容，涵盖视频、音频、文本、语音聊天、虚拟形象和 3D 体验。 然而，其中仅有 0.01% 的内容被检测为违反我们的政策，而大部分内容经过审核过滤，用户并没有看到。 我们还研发了高性能的基础 AI，以保障全类型内容和交流方式的安全。 这些模型每天处理超过 40 亿条文本消息，延迟仅为毫秒级，同时还支持数百万小时的语音通信和海量内容。 我们致力于监测不良内容并大规模地做出审核决策。

安全这个概念超越了 Roblox 本身。 虽然我们能够在用户使用我们的平台时保护他们，但在他们不在 Roblox 上时，我们的能力有限。 事实上，全球的互联网公司在用户从一个平台转移到另一个平台时都面临这些挑战。 因此，多年来，我们通过加入像家庭在线安全研究所 (Family Online Safety Institute) 和技术联盟 (Tech Coalition) 这样的组织，积极推动在线安全和文明行为实践并发挥领导作用。

现在，我们很荣幸能与 Google、OpenAI、Discord 等公司一同成为 强大开放式在线安全工具 ROOST 的创始合作伙伴，扩展我们在在线安全领域的领导地位。 这个全新的非营利组织致力于构建适应 AI 时代的可扩展、可互通且有韧性的安全工具，以解决数字安全的关键领域，尤其是在线儿童安全。

ROOST 将开发、维护并分发免费的开源安全资源，让各类公共和私人组织（其中许多组织无法获得基本的安全技术），可以部署并增强他们的系统，帮助维护用户安全。 这将让他们把精力更着重在发展自己的业务上面。

我们很高兴可以协助提升网络安全，为此我们也将成为 ROOST 技术咨询委员会的联合主席。 这将让我们有机会来分享我们学到的经验，并告知及支持该组织的工作和技术策略。

成为 ROOST 的创始合作伙伴使我们能够依靠 ROOST 社区的机器学习建模专业知识，推动我们共同使用和分享的安全技术。 而这让我们感到振奋人心，因为 ROOST 正在致力于三个对 Roblox 和其他在线平台至关重要的在线安全核心领域。 其中包括：

  • 改善儿童安全，包括开发更强大的儿童性虐待材料（CSAM）分类器。

  • 构建更好的安全基础设施，例如审核控制台、启发式引擎，并收集和策划更多的训练示例，进行统计采样、标注，并对这些使用案例进行人工训练。

  • 创建基于大语言模型（LLM）驱动的内容保护机制，利用 AI 修订并训练审核人员执行政策。

ROOST 董事会副主席 Eli Sugarman 表示：“像 Roblox 这样的网络安全全球领袖加入 ROOST 作为创始伙伴，对我们来说是个巨大的机会。 这证明了 Roblox 对开源安全的坚定承诺， Roblox 绝佳的地位也让其可以分享创新方法以帮助保护整个在线社区。”

这是整个在线社区的重要时刻，而我们在开源工具方面的努力也是其中的一个重要组成部分。 我们认为 AI 是一种应该建立在透明和开放基础上的技术，我们致力于成为开源 AI 社区的强大合作伙伴。

将技术贡献给开源社区

成为 ROOST 的创始合作伙伴与我们向开源社区贡献技术的方法密切相关。 这是我们去年开始的旅程，当时我们开源了我们的 语音安全分类器 模型，该模型能够在每天数百万分钟的语音活动中，比人工审核人员更准确地检测政策违规行为。 自那之后，它已有近 2.2 万的下载次数。

我们现在已经有了该模型的更新版本，并支持七种新语言：西班牙语、德语、法语、葡萄牙语、意大利语、韩语和日语，并应用了全新技术使该模型更加高效。 这些改进包括用于人工标签微调的课程训练架构、扩展滥用检测模块，以及添加更高效的特征提取和时间减少层。 我们计划在 2025 年第一季度末开源全新模型版本。 我们还计划在今年稍晚开源其他模型的分类器模型。

开源我们的工具是我们的一部分，既体现在我们的安全工作中，也体现在创作方面。 例如，去年我们发布了我们的 3D 基础模型，该模型将帮助创作者将多种自动生成工具整合到他们的体验中。

我们很高兴成为 ROOST 社区的创始合作伙伴，并且我们计划与该领域的其他领导者合作，尽我们所能让互联网成为一个更安全的地方。