工程新聞安全和禮儀

如何成為全新開放原始碼促進會的創立夥伴是我們線上安全性做法的關鍵

發佈者工程暨安全副總理 Naren Koneru
發佈日期2025年2月10日
  • AI 成為我們在 Roblox 達成安全的根基，我們把模型應用在文字和語音通訊、圖像以及 3D 模型和網格。

  • 促進使用者安全，特別是我們最年輕的使用者安全，一直是我們的首要任務，這就是我們持續投資和改善我們安全系統的原因。

  • 對開放原始碼社群做出貢獻對我們來說是很重要的。 ROOST 是一家新的非營利組織，致力於推廣開源安全工具來解決數位安全的重要領域。我們成為其創立夥伴，來拓展我們在安全技術領域的領導地位。

  • 我們也將我們的語音安全分類模型（一個擁有 9400 萬個參數的模型，每天在我們的平台上處理多達 40 萬小時的活躍語音）新版本開源，並且我們計劃在未來推出額外的開源安全 AI 模型。

從將近 20 年前成立以來，促進安全和文明一直是 Roblox 的基礎。 設計各種系統來促進每個人的安全是一項重大工作，特別是我們的全球規模以及我們支援各種不同類型的內容。 因此我們大力投資基礎結構、AI 和人類。 目前生產環境中數以百計的模型，Roblox 上幾乎所有的互動都有某種形式的 AI 在支援。

在 2024 年的第四季度，我們的使用者上傳了超過 3 千億件的內容，包含影片、聲音、文字、語音聊天、虛擬人偶和 3D 體驗等等。 不過該內容中只有 0.01% 被偵測到違反我們的政策， 並且其中大多數由於主動審核所以並沒有被使用者看見。 我們也發明了基礎的高效能 AI 來維護全類型內容與通訊模式的安全。 這些模型一天以僅數毫秒的時間個別處理超過 40 億則文字訊息，以及數百萬小時的語音和內容。 我們致力於偵測不良內容並大規模做出審核決策。

安全是超越 Roblox 的事物。 當我們的使用者在我們的平台上時，雖然我們能協助保護我們的使用者，但是當他們不在 Roblox 上時，我們所能做到的地步就有限。 事實上，當使用者從一個平台移動到另一個平台時，世界各地的網路公司都面臨這些挑戰。 因此過去幾年來，我們加入家庭網路安全協會和 Tech Coalition 等組織，以在促進網路安全和禮儀做法的領域成為領導角色。

現在，我們很榮幸能與 Google、OpenAI、Discord 等公司成為 ROOST（健全開放網路安全工具）的創立夥伴，來拓展我們在網路安全的領導地位。 這個新的非營利組織致力於透過建造適合 AI 時代的可擴增、可互通且有彈性的安全工具，來解決數位安全的重要領域，特別是網路兒童安全。

ROOST 將開發、維護並分發免費的開源安全資源，讓各種規模的公開和私人組織（其中許多組織缺乏基本的安全技術）可以部署來增強自己的系統，維持他們使用者的安全。 這將讓他們把精力更著重在發展自己的業務。

我們很高興能協助增強網路的安全，為此我們也將成為 ROOST 技術諮詢委員會的聯合主席。 這將給予我們機會來分享我們學到的事物，並告知和支援該組織的工作和技術策略。

成為 ROOST 的創立夥伴讓我們能依靠 ROOST 社群的機器學習模型專長來推進我們使用和分享的安全技術。 這很令人興奮，因為 ROOST 正在處理網路安全的三個核心領域，這對 Roblox 和其他線上平台是至關重要的任務。 這包含：

  • 改善兒童安全，包括開發更強健的兒童性虐待資料 (CSAM) 分類器

  • 打造更優良的安全基礎設施，例如審查後台、啟發式引擎，以及收集和策劃更多訓練範例、統計採樣、標記和訓練這些案例上的人員

  • 建立大型語言模型 (LLN) 內容安全措施，利用 AI 來修改和訓練審核人員執行政策

ROOST 董事會副主席 Eli Sugarman 表示：「有像 Roblox 這樣的網路安全全球領袖加入 ROOST 作為創立夥伴對我們來說是個巨大的機會， 這證明了將安全開源的承諾，Roblox 處在絕佳的地位分享其創新的方法，以協助保護整個線上社群。」

這是整個線上社群的重大時刻，我們在開源工具上的努力正是這件事的重要元素。 我們認為 AI 應該是一種以公開透明為基礎的技術，而我們致力於在開源 AI 社群中成為強大的夥伴。

將技術貢獻給開源社群

成為 ROOST 的創立夥伴與我們為開源社群貢獻技術的方法密切相關。 這是從去年開始的旅程，當時我們開源了我們的語音安全分類器模型，在一天數百萬分鐘的語音活動下，這可以比人類審核人員更準確地偵測政策違規。 自那之後，它已有近 2.2 萬下載次數。

生產中的該模型現在有更新版，掌握七種新語言：西班牙文、德文、法文、葡萄牙文、義大利文、韓文和日文，並應用新技術使模型更有效率。 這些包含用於人工標記微調的課程訓練架構、擴展濫用源頭，以及增加更有效的特徵提取和時間減少層。 我們計劃在 2025 年第一季末開源新模型版本。 我們也計劃在今年稍晚開源其他模組的分類器模型。

將我們的工具開源是我們的一部分，既是我們的一些安全工作也是為了創作。 例如，去年我們發表了 3D 基礎模型，這將協助創作者將許多類型的自動生成工具整合到自己的體驗中。

我們很高興成為 ROOST 社群的創立夥伴，並且我們打算與該領域的其他領導者合作，盡我們所能使網路成為一個更安全的地方。