• Roblox 的設計始終重視保護我們最年幼的使用者；我們現在正在適應越來越多的年長使用者。
• 憑藉文字、語音、影像、3D 模型和程式碼，Roblox 在多模態 AI 解決方案方面具備獨特的成功優勢。
• 我們透過開放原始碼、與合作夥伴的協作或支持立法，盡可能提升整個業界的安全性。

自近 20 年前創立以來，Roblox 一直都是以安全和禮儀為基礎。 從第 1 天起，我們就致力於將安全功能、工具和審核功能融入產品設計之中。 在推出任何新功能之前，我們都會先思考如何保護社群免受潛在危害。 這種從一開始就設計安全和禮儀功能的過程（包括早期測試以了解新功能可能如何被濫用）有助於我們創新。 我們不斷評估最新的研究和技術，以確保我們的政策、工具和系統盡可能準確且有效率。

Roblox 在安全方面具備獨特的優勢。 大多數平台最初都是為成人設計的，現在回過頭來努力加入保護青少年和兒童的措施。 但我們的平台從一開始的開發宗旨就是為兒童的創造和學習提供受到保護的安全場所，現在我們正在適應快速增長的年長受眾。 此外，由於令人興奮的全新生成式 AI 功能與工具使更多人能夠在 Roblox 上輕鬆創作和交流，我們審核的內容量大幅增長。 這些並不是預料之外的挑戰，畢竟我們的任務就是以樂觀守禮的態度將十億人連結在一起。 我們始終著眼於未來，藉此了解我們在成長和適應的過程中會需要哪些新的安全政策與工具。 

我們的許多安全功能與工具都以創新的 AI 解決方案為基礎，且配合數千名致力於安全的專家團隊一起執行。 隨著我們努力擴大全天 24 小時審核的內容量，這種經驗豐富的真人和人工智慧自動化的策略性整合乃是勢在必行。 我們還會與專注於線上安全的組織培養合作關係，並且在相關的情況下，支持我們堅信將改善整個業界的立法。

以 AI 引領安全擴展 

我們平台的龐大規模會需要 AI 系統能夠達到或超過領先業界基準的準確性和效率，使我們能夠在社群發展、政策和需求演變以及新挑戰出現時快速應對。 如今有 190 個國家超過 7,100 萬每日活躍使用者在 Roblox 上交流和分享內容。 每天人們在 Roblox 上會傳送數十億則聊天訊息給好友。 我們的創作者商店販賣數以百萬計的道具，創作者每天都會新增虛擬人偶與道具到市集上。 而隨著我們不斷發展並為玩家提供新的方式在 Roblox 上創作和交流，這數字只會越來越大。

隨著業界整體在機器學習 (ML)、大型語言模型 (LLM) 和多模態 AI 方面大幅躍進，我們也投入了大量的人力物力來利用這些新解決方案讓 Roblox 更安全。 AI 解決方案現在已經開始協助我們審核文字聊天、沉浸式語音通訊、圖像以及 3D 模型和網格。 我們正使用許多這類技術，讓我們的社群更迅速簡便地在 Roblox 上創作。 

利用多模態 AI 系統進行創新

我們的平台出於其本質，結合了文字、語音、圖像、3D 模型和程式碼。 多模態 AI 系統同時接受多種類型資料的訓練，以產生比單模態系統更準確、更成熟的結果，這為 Roblox 提供了獨特的機會。 多模態系統能夠偵測出不同內容類型（例如圖像和文字）個別元素沒有問題、組合起來卻可能有問題的情況， 要想像這是如何運作的，可以假設有個孩子使用的是看起來像豬的虛擬人偶。完全沒問題，對吧？ 接著想像看看，有人傳送一條聊天訊息說：「這長得就跟你一樣！」 這條訊息可能就涉及霸凌而違反我們的政策了。

只使用 3D 模型訓練的模型會批准該虛擬人偶。 而只使用文字訓練的模型則會批准該文字訊息並忽略虛擬人偶的情境。 只有訓練材料橫跨文字和 3D 的模型才能快速偵測並標出此範例中的問題。 我們仍處於這類多模態模型的早期階段，但我們預見了這樣一個世界，在不久的將來，我們的系統能透過審核整個體驗來回應濫用檢舉報告。 系統可以處理其中的程式碼、影像、虛擬人偶和通訊內容，並確定是否需要進一步調查或執行懲處。

我們已經利用多模態技術取得重大進展，例如我們的模型可以近乎即時地偵測語音通訊中的政策違規。 如果發現不僅能提升 Roblox 上的安全和禮儀，還能推及整個產業的機會，我們會公開分享這些進展。 事實上，我們正​​與業界分享我們的第一個開放原始碼模型：語音安全分類器。

大規模審核內容

我們在 Roblox 會審核大多數內容類型，預防嚴重的政策違規行為出現在平台上。 要做到這一點而不會對發布內容的人造成明顯的延遲，需要速度和準確度。 突破性的 AI 解決方案協助我們即時做出更好的決策，有助於防止 Roblox 上出現有問題的內容，如果有漏網之魚登上平台，我們也有系統可以識別和移除該內容，例如我們強大的使用者檢舉系統。 

我們已經發現，在重複的單純工作方面，我們自動審核工具的準確度超越了真人審核人員。 透過自動化審核這些較簡單的情況，我們可以讓真人審核人員將大部分時間花在他們最擅長的事情上，也就是需要批判性思考和更深入調查的複雜工作。 然而在安全性方面，我們知道自動化無法完全取代人工審查。 我們的真人審核人員非常寶貴，可協助我們持續監督和測試 ML 模型的品質和一致性，以及建立高品質的標記資料集來讓我們的系統始終如新。 他們能協助識別我們支援的全 16 種語言的新俚語和縮寫，並標記經常出現的案件，以便訓練系統來辨識出這些內容。

我們知道即使是高品質的 ML 系統也可能會犯錯，因此我們的上訴流程中還是有真人審核人員。 我們的審核人員會協助我們為提出上訴的人做出正確的決定，並可以指出是否需要針對 ML 系統犯錯的案件類型進行進一步訓練。 我們的系統可藉此從錯誤中學習，變得越來越準確。最重要的是，涉及高風險案件的重大調查，例如極端主義或危害兒童行為，一定會有真人參與。 針對這些案件，我們有一個專門的內部團隊致力於主動識別和排除惡意人士，並調查我們最關鍵領域不好處理的案件。 此團隊也與我們的產品團隊合作，分享他們進行調查工作所得到的見解，以持續提高我們平台和產品的安全性。

審核通訊

我們的文字過濾系統已經過 Roblox 專有語言的訓練，包括俚語和縮寫。 Roblox 上每天傳送的 25 億條聊天訊息都會經過這套過濾系統，此系統擅長偵測違反政策的言論。 此過濾系統可以偵測我們支援的所有語言中的違規言論，這在我們推出即時 AI 聊天翻譯後尤為重要。 

我們之前分享過如何透過內部特製語音偵測系統即時審核語音通訊。 這裡的創新是能夠直接從即時音訊讓 AI 系統在幾秒鐘內將音訊標記為違反或不違反政策。 我們開始測試我們的語音審核系統時，發現在許多情況下，很多人因為不熟悉我們的規則，無意中違反了我們的政策。 我們開發了一套即時安全系統，協助在使用者的言論違反政策時通知他們。

這些通知是早期的溫和警告，類似於禮貌地要求在有小孩的公園裡注意自己的言論。 測試過程證明，這些通知能成功提醒使用者尊重別人並引導他們深入了解我們的政策。 與互動資料比較後，我們的測試結果令人振奮，結果顯示這些工具可以有效地防範平台出現不肖人士，同時鼓勵真正積極互動的使用者改善他們在 Roblox 上的行為。 自從 1 月向所有英文母語的使用者推出即時安全功能以來，我們發現每日活躍使用者平均的語音通訊相關濫用檢舉量減少了 53%。

審核創作

針對虛擬人偶和虛擬人偶飾品等視覺素材，我們使用電腦視覺 (CV) 技術。 其中一項技術涉及從多個角度拍攝道具的照片。 然後，系統會審核這些照片以決定下一步該怎麼做。 如果沒有任何問題，則該道具獲得批准。 如果有明顯違反政策之處，該道具將被封鎖，並且我們會告訴創作者我們覺得什麼地方有問題。 如果系統不確定，該道具會由真人審核人員仔細審查並做出最終裁定。

我們對虛擬人偶、飾品、程式碼和完整 3D 模型都進行同樣的流程。 針對完整模型，我們更進一步評估構成模型的所有程式碼和其他元素。 如果要評估一輛汽車，我們會將其細分成多個組成元素：方向盤、座椅、輪胎及其內部的程式碼，以確定是否有任何可能存在的問題。 如果有個像小狗的虛擬人偶，我們會需要評估耳朵、鼻子和舌頭是否有問題。 

我們還需要能夠進行反方向的評估。 如果各個組成元素都完全沒問題，但整體效果卻違反了我們的政策怎麼辦？ 舉例來說，小鬍子、卡其外套和紅色袖章本身並沒有問題。 但想像一下，如果這些東西集中在某個人的虛擬人偶上，袖章上有一個十字形的符號，一隻手臂舉起來行納粹禮，問題就變得很明顯了。

這就是我們的內部模型與現成 CV 模型的不同之處。 現成模型通常是以現實世界的物品訓練的， 可以識別汽車或狗，但無法識別這些東西的組成元素。 我們的模型經過訓練和最佳化，評估道具時能分析至極小的組成零件。

與合作夥伴協作

我們使用所有可用的工具來確保 Roblox 上所有人的安全，但我們同樣強烈希望能將我們學到的事分享到 Roblox 之外。 事實上，我們正​​與業界分享我們的第一個開放原始碼模型：語音安全分類器，來協助其他人改進自己的語音安全系統。 我們也與第三方團體合作，隨著產業的發展分享知識和最佳實務做法。 我們與各類組織建立並維持緊密關係，包括家長倡議團體、心理健康組織、政府機構和執法機構。 他們為我們提供了寶貴的見解，讓我們了解家長、政策制定者和其他團體對網路安全的擔憂。 相對地，我們也得以分享自己的經驗和我們用來保持平台安全守禮的技術。

我們一直以來都優先考量平台上最年幼和最易受攻擊使用者的安全。 我們制定了一些企劃，例如信任舉報員企劃，以協助我們在保護平台上的使用者時擴大可及範圍。 我們與政策制定者針對重要的兒童安全倡議、立法和其他工作進行合作。 舉例而言，我們是首家支持《加州適齡設計規範法》的公司，也是少數支持此法案的公司之一，因為我們相信這符合年輕人的最大利益。 我們一旦相信一件事會對年輕人有所幫助，就會希望將其傳播給所有人。 最近我們簽署了公開信支持加州 SB 933 法案，修訂州法明確禁止使用 AI 技術生成兒童性虐待內容。

努力創造更安全的未來

這項工作永遠沒有完成的一天。 在我們讓所有人都能更輕鬆地在 Roblox 上創作的同時，我們也已經在著手開發新一代的安全工具與功能。 隨著我們成長並提供創作與分享的新方式，我們將持續開發突破性的新解決方案，以確保 Roblox 內外的所有人都能安全和守禮。