技术内幕 - 如何解决沉浸式语音通信中的安全问题

Inside the Tech（技术内幕）是一个博客系列，与我们的 Tech Talks Podcast（技术讨论播客）相辅相成。 在第 20 期播客《The Evolution of Roblox Avatars》（Roblox 虚拟形象发展史）中，Roblox 首席执行官 David Baszucki 与高级工程技术主管 Kiran Bhat、高级产品主管 Mahesh Ramasubramanian、首席产品经理 Effie Goenawan 一起讨论了如何通过虚拟形创造沉浸式通信的未来，以及在此过程中我们正在解决的技术挑战。 本期《技术内幕》邀请到了高级工程经理 Andrew Portner 为我们详细介绍其中一项技术挑战——沉浸式语音通信的安全问题，以及团队目前的工作如何帮助为平台上的所有用户营造一个安全、文明的数字环境。

你们团队目前正面临的最大技术挑战是什么？

我们的优先考虑为用户提供安全和积极的体验。 安全和文明始终是我们关注的重点，但实时处理相关问题可能是一项巨大的技术挑战。 我们希望在发生问题的第一时间就能够实时进行审查并采取行动，但考虑到我们的用户规模，想要实现这一点并非易事。 为有效应对这种规模，我们需要利用自动化安全系统。

我们关注的另一个技术挑战是安全措施审核的准确性。 针对违规内容并实时提供准确反馈，我们采用了两种审核方法：被动审核和主动审核。 在被动审核方面，我们正在开发机器学习 (ML) 模型，以准确识别不同类型的违规内容，即通过响应平台用户提交的举报来实施审核。 在主动审核方面，我们在努力实时检测可能违规的内容，并对用户的行为进行教育。 理解用户说的话和改进音频质量是一个复杂的过程。 虽然目前已经取得一些进展，但我们的终极目标是打造出能够实时检测违规行为的高精度模型。

我们目前正在采取哪些创新方法和解决方案来应对这些技术挑战？

我们已经开发出一个端到端机器学习模型，能够分析音频数据并根据违规类型（例如，这种行为有很多可能是霸凌、脏话等）提供置信度。 这一模型已显著提高了我们自动完成处理某些举报的能力。 当我们对模型有信心并确认其表现优于人类时，我们就会采取行动。 在推出短短几个月后，我们就能够使用该模型来审核几乎全部的英语语音滥用举报。 这些模型由我们内部开发，这证明在大量开源技术和我们自己的不懈努力的合力之下，是可以攻克技术难题的。

实时确定内容是否违规似乎相当复杂。 它的工作原理是什么？

我们花费了大量心思来构建系统的上下文感知能力。 在采取行动之前，我们还会观察一段时间的模式，以确保我们的行动是合理的。 我们的策略会根据用户的年龄、用户是在公共空间还是私聊，以及其他许多因素而进行微调。 我们在努力探索实时提升文明交流的新方法，而机器学习则是其中的核心技术。 我们最近推出了自动推送通知（或称为“轻推”）以提醒用户遵守平台政策。 此外，我们还在研究其他因素（比如语气），以便更好地理解和区分用户的真实意图（比如，是挖苦还是在开玩笑）。 最后，我们还在构建多语言模型。因为一些用户会说多种语言，甚至在一句话中切换不同的语言。 要实现这一切，我们必须拥有精确的模型。

目前，我们正在集中精力整治最突出的滥用行为，例如骚扰、歧视和脏话。 大多数滥用举报都是这些违规类型。 我们的目标是在这些领域产生重要影响，并为促进和维持文明的网络交流制定行业规范。 我们对于实时使用机器学习的潜力充满期待，因为它让我们可以有效地为所有人打造更安全、更文明的体验。

我们在 Roblox 上正在解决的挑战有哪些独特之处？ 我们具备哪些优势来率先解决这些难题？

我们的空间语音聊天技术能够模仿现实世界中的沟通，营造沉浸感更强的体验。 例如，如果我站在某人的左边，那对方的左耳会听到我的声音。 我们正在创造一种与现实世界交流方式相似的体验，并且有优势能够率先解决这一难题。

作为一名游戏玩家，我亲眼目睹了在网络游戏中大量的骚扰和霸凌现象。 问题在于，由于用户匿名以及不必承担什么后果，此类行为往往不受到约束。 但是，我们在许多方面所面临的都是其他平台不曾面对的独特技术难题。在一些游戏平台上，互动仅限于队友之间。 而 Roblox 则提供了多种方式，让用户在更贴近于现实世界的社交环境中进行互动。 随着机器学习和实时信号处理技术的进步，我们现在能够有效地检测和应对滥用行为。也就是说，Roblox 不仅提供更逼真的环境，还能让每个用户可以安心地与他人进行互动，建立联系。 我们的技术、沉浸式平台以及在教育用户遵守平台政策方面的不懈努力，这三者的结合使我们在应对这些挑战方面处于业界领先地位。

这项技术工作给你带来了哪些主要收获？

我的收获有很多。 我本身并不是机器学习工程师， 而是主要从事游戏的前端工作。因此，能够深入了解这些模型的工作原理，这于我而言意义非凡。 衷心希望我们为了促进文明所采取的种种措施，能够唤醒网络社区长久以来缺乏的同理心。

最后还有一点就是，一切都取决于你输入的训练数据。 而要使数据准确无误，人类就必须就用来分类某些违规行为的标签达成一致。 一定要使用所有人都认同的高质量数据来进行训练。 这的确是很难解决的难题。 你会发现，机器学习在某些领域遥遥领先，而在另一些领域则依然处于早期阶段。 在许多领域，机器学习仍在不断发展。因此，认识到其当前局限性关键所在。

你的团队最认同的 Roblox 价值观是什么？

尊重社区是在整个过程中指导我们工作的核心价值观。 首先，我们需要专注于提升文明程度，减少平台上的违规行为。 这在很大程度上影响着整体用户体验。 其次，我们必须认真思考如何推出这些新功能。 我们需要留意模型中的误报（例如，错误地将某些内容标记为滥用），并避免错误地给予用户惩罚。 关键在于监控模型的性能及其对于用户互动的影响。

Roblox 和您团队未来发展的哪些方面最让您感到兴奋？

我们在改进公共语音通信方面已经取得长足进步，但仍有许多工作要去完成。 私聊通信是令人兴奋的领域，值得深入探索。 我认为目前是改进私聊通信的大好时机，让用户可以向亲密好友表达自我，在不同体验之间或身处某个体验中时拨打语音通话和自己的好友进行交流。 现在也有机会利用更好的工具来促进此类沟通，让用户能够自我组织、加入社区、分享内容和交流想法。

随着我们的不断发展，我们如何扩展我们的聊天技术以支持日益壮大的社区规模？ 我们能做的事情还有很多，目前还只是刚刚开始。应当抓住大好时机开创全新方式来营造更加文明的网络通信环境，集结整个业界之力开展协作。 如今，掌握合适技术和机器学习能力的我们应借势去塑造文明网络通信环境的未来。