提升 Roblox 上的安全和文明

• Roblox 一直致力于保护我们最年轻的用户；现在，我们正在适应越来越多的老年用户。
• 凭借文本、语音、视觉效果、3D 模型和代码，Roblox 在多模态 AI 解决方案方面拥有独特的成功优势。
• 我们通过开源、与合作伙伴合作或支持立法等方式，尽可能改善整个行业的安全状况。

自近二十年前成立以来，安全与文明一直是 Roblox 的立足之本。 从第一天起，我们就致力于在产品设计中融入安全功能、工具以及审核能力。 在推出任何新功能之前，我们已经开始考虑如何保护社区安全，避免潜在的危害。 这种从一开始就将安全与文明融入功能设计的流程，包括对新功能可能被滥用的早期测试，帮助我们实现了持续创新。 我们不断评估最新的研究成果和可用技术，以确保我们的政策、工具和系统尽可能准确高效。

在安全方面，Roblox 拥有独特的优势。 大多数平台最初都是针对成年人设计的，随后才开始努力为青少年和儿童增加保护措施。 而我们的平台从一开始就被打造为一个安全、受保护的空间，让儿童可以创造和学习。如今，我们正逐步适应一个迅速增长且年龄层次多样化的受众群体。 此外，由于令人兴奋的新生成式 AI 功能和工具的推出，使得更多人能够轻松在 Roblox 上进行创作和交流，我们需要审核的内容量也呈指数级增长。 这些挑战并非意料之外——我们的使命是以乐观与文明的态度将十亿人联系在一起。 我们始终关注未来，以理解在成长和适应过程中需要哪些新的安全政策和工具。

我们的许多安全功能和工具基于创新的 AI 解决方案，并由数千名致力于安全工作的专家团队共同支持。 这种经验丰富的人工团队与智能自动化技术的战略结合势在必行，因为我们需要全天候审核大量内容。 同时，我们也重视与专注于网络安全的组织建立合作伙伴关系，并在适当情况下支持我们坚信能推动整个行业发展的相关立法。

利用 AI 实现安全提升

我们的平台规模庞大，因此需要具备行业领先的准确性和效率的 AI 系统，来支持我们快速响应不断增长的社区、不断变化的政策和要求以及新的挑战。 如今，全球 190 个国家每天有超过 7100 万活跃用户在 Roblox 上交流和分享内容。 每天，人们都会在 Roblox 上向好友发送数十亿条聊天消息。 我们的创作者商店提供数百万种商品出售，创作者们每天还会向商城添加新的虚拟形象和物品。 随着平台的持续增长以及不断为用户提供新的创作和交流方式，这些数字还将继续攀升。

随着整个行业在机器学习 (ML)、大型语言模型 (LLM) 和多模态 AI 领域的飞速发展，我们大力投资于如何利用这些新解决方案，使 Roblox 更加安全。 目前，AI 技术已被用于帮助我们审核文本聊天、沉浸式语音通信、图像以及 3D 模型和网格。 我们现在也在使用这些技术，使 Roblox 社区的创作过程更加快速便捷。

利用多模态 AI 系统进行创新

我们的平台天然地结合了文本、语音、图像、3D 模型以及代码等多种元素。 多模态 AI 系统通过对多种类型的数据进行联合训练，可以比单一模式系统生成更精准、更复杂的结果，这为 Roblox 提供了独特的机会。 这类多模态系统能够识别多种内容类型（如图像和文本）结合后可能存在的问题，而这些问题在单独看时可能无法察觉。 举个例子，假设一个孩子正在使用一个看起来像小猪的虚拟形象——这完全没有问题，对吧。 然而，如果另一位用户发送了一条消息：“这看起来就像你！” 这样的信息就可能违反我们的反欺凌政策。

一个只接受 3D 模型训练的模型可能会通过这个虚拟形象， 而一个只接受文本训练的模型可能会通过这条消息并忽略虚拟形象的上下文背景。 只有在文本和 3D 模型上联合训练的模型才能快速检测并标记出这一问题。 目前我们正处于这些多模态模型发展的初期阶段，但我们可以想象，在不远的未来，我们的系统可以通过审核整个用户体验来回应滥用举报。 系统可以将代码、视觉内容、虚拟形象和通信信息作为输入进行处理，并判断是否需要进一步调查或采取相应措施。

我们已经在多模态技术应用方面取得了重大进展，例如我们的一款模型能够几乎实时检测出语音通信中的政策违规行为。 我们计划在适当的时候分享类似的技术突破，不仅提升 Roblox 的安全与文明，还推动整个行业的进步。 事实上，我们正在与业界分享我们的第一个开源模型——语音安全分类器。

大规模内容审核

在 Roblox，我们会对大多数类型的内容进行审核，以便在严重的政策违规行为出现在平台上之前发现它们。 为了在不给内容发布者造成明显延迟的情况下完成这项工作，我们既需要速度也需要准度。 突破性的 AI 解决方案帮助我们实时做出更好的决策，帮助防止有问题的内容出现在 Roblox 上——如果有任何此类内容进入平台，我们还有包括强大的用户举报系统在内的多重机制来识别和删除这些内容。

我们已经看到，在处理重复性的简单任务时，我们的自动审核工具的准确率已经超过了人工审核员。 通过自动化处理这些较简单的案例，我们的人工审核员就能将大部分时间用在他们最擅长的工作上——那些需要批判性思维和深入调查的更为复杂的任务。 然而在安全方面，我们深知自动化无法完全取代人工审核。 我们的人工审核员在持续监督和测试机器学习模型的质量和一致性方面发挥着不可替代的作用，同时也为保持系统更新提供高质量的标注数据集。 他们帮助识别我们支持的全部 16 种语言中的新俚语和缩写，并标记经常出现的情况，以便系统能够学习识别这些内容。

我们知道，即使是高质量的机器学习系统也可能出错，因此我们在申诉流程中设置了人工审核环节。 我们的审核员不仅要确保为提出申诉的个人做出正确判断，还要标记出需要针对错误案例类型进行进一步训练的情况。 通过这种方式，我们的系统就能够从错误中学习，准确率也会不断提高。最重要的是，在涉及极端主义或儿童危害等高风险案例的关键调查中，始终有人工参与其中。 对于这些案例，我们有专门的内部团队负责主动识别和清除恶意行为者，并调查最关键领域中的棘手案例。 该团队还与我们的产品团队合作，分享他们的工作见解，以不断提高我们平台和产品的安全性。

通信内容的审核

我们的文本过滤系统经过专门训练，能够识别 Roblox 平台特有的语言，包括俚语和缩写。 Roblox 上每天发送的 25 亿条聊天信息都会经过这个过滤系统，它能够熟练地检测出违反政策的语言。 这个过滤系统可以检测出我们支持的所有语言中的违规内容，这一点在我们推出实时 AI 聊天翻译功能后显得尤为重要。

我们此前分享过如何通过内部定制的语音检测系统实时审核语音通信。 这项创新的突破在于，AI 系统能够在几秒钟内直接将实时音频标注为是否违反政策。 在测试语音审核系统的过程中，我们发现，在很多情况下，用户因为不熟悉我们的规则而无意中违反了政策。 因此，我们开发了一个实时安全系统，当人们的言论违反了某项政策时，系统会及时提醒他们。

这些提醒是一种早期的、温和的警告，就像是在有小孩的公园里被礼貌地要求注意言辞一样。 测试表明，这种干预方式在提醒人们保持礼貌和引导他们了解我们的政策方面非常有效。 将测试结果与用户参与度数据进行对比后，我们发现这些工具不仅可以有效地将不良行为者挡在平台之外，还能鼓励真正参与的用户改善他们在 Roblox 上的行为。 自从一月份向所有英语用户推出实时安全系统以来，我们发现与语音通信相关的日活跃用户滥用举报数量减少了 53%。

创作内容的审核

对于包括虚拟形象及其配饰在内的视觉素材，我们使用计算机视觉 (CV) 技术进行审核。 其中一种技术是从多个角度拍摄物品的照片， 然后系统对这些照片进行审查以确定下一步的处理方式。 如果没有发现任何问题，该物品会获得批准； 如果明显违反了某项政策，该物品会被屏蔽，同时我们会告知创作者我们认为存在问题的地方。 如果系统无法确定，该物品将会提交给人工审核员做进一步审查，并做出最终决定。

我们采用类似的流程对虚拟形象、配饰、代码和完整的 3D 模型进行审核。 对于完整模型，我们会更进一步，评估构成模型的所有代码和其他元素。 例如，在评估一辆汽车时，我们会将其分解为方向盘、座椅、轮胎及底层代码等组件，以判断其中是否有潜在问题。 如果是一个像小狗的虚拟形象，我们需要评估它的耳朵、鼻子和舌头等细节是否存在问题。

同时，我们也需要从整体效果的角度进行评估。 如果单个组件都没有问题，但组合在一起后违反了我们的政策，该怎么办？ 例如，单独看，小胡子、卡其色夹克和红色臂章都没有问题。 但如果将这些元素组装在一个头像上，再加上臂章上的十字标志以及高举的手臂做出纳粹敬礼的动作，就显而易见会引发问题。

这正是我们内容模型与现成商用 CV 模型的区别所在。 商用模型通常针对现实世界中的物品进行训练， 能够识别汽车或狗，但无法辨识这些物品的组成部分。 而我们的模型经过专门训练和优化，能够深入评估物品至最细微的组成部分。

与合作伙伴协作

我们使用所有可用的工具来确保 Roblox 上每个人的安全，但我们同样重视将学到的经验分享给 Roblox 之外的世界。 事实上，我们首次开源了一款模型——一个语音安全分类器，旨在帮助其他人改进自己的语音安全系统。 同时，我们也与第三方机构合作，分享知识和最佳实践，以适应行业的发展。 我们与多种组织建立并保持密切的关系，包括家长权益团体、心理健康组织、政府机构和执法部门。 这些组织为我们提供了宝贵的见解，帮助我们了解家长、政策制定者及其他群体对在线安全的关注。 作为回报，我们分享我们的经验以及用于确保平台安全与文明的技术。

我们始终把平台上最年轻、最脆弱的用户的安全放在首位。 为此，我们建立了一些计划，例如我们的可信举报者计划，以帮助我们在努力保护平台用户的同时扩大影响范围。 我们还与政策制定者合作，推动关于儿童安全的关键举措、立法以及其他相关工作。 例如，我们是第一家也是唯一一家支持《加州适龄设计法案》(California Age-Appropriate Design Code Act) 的公司，因为我们相信这符合年轻人的最大利益。 当我们相信某件事会对年轻人有帮助时，我们希望将其推广至更广的范围。 最近，我们还签署了一封支持加州法案 SB 933的公开信，该法案更新了州法律，明确禁止 AI 生成的儿童性虐待材料。

迈向更安全的未来

我们的工作永远不会止步。 在不断简化 Roblox 平台创作方式的同时，我们已经在开发下一代安全工具和功能。 随着平台的成长并提供更多创作和分享的途径，我们将继续研发新的突破性解决方案，以确保 Roblox 平台乃至更广泛的互联网环境的安全与文明。