新しいオープンソース・イニシアチブの創設パートナーになることは、当社のインターネット上の安全性に対する取り組みのカギ

作：ナレン・コネル（Naren Koneru）、エンジニアリング VP、安全性　
公開日2025/02/10
  • AI（人工知能）は、Robloxの安全に対する取り組みの礎となっており、当社はテキストや音声による通信内容、画像、3Dモデルやメッシュに安全モデルを適用しています。

  • ユーザーの皆さん（特に最も年齢が低いユーザー層）の安全を向上させることは当社にとって最優先事項であり、当社が安全システムの向上に努め、投資し続けてきたのはそのためです。

  • オープンソースのコミュニティに貢献すること は、当社にとって重要なことです。 当社は、オープンソースの安全ツールによってインターネット上の安全性を促進することに特化した新しい非営利団体、 ROOST の創設パートナーになることによって、安全テクノロジーにおける当社の指導的な立場をさらに拡大していきます。

  • 当社は、 音声安全分類器モデル （毎日、プラットフォーム上で行われる40万時間の活発な発話を処理する9400万件のパラメータモデル）の新バージョンをオープンソース化し、ゆくゆくはその他のオープンソースのAI（人工知能）安全モデルもリリースする予定です。

Roblox創立以来、当社は安全性とネットマナーの向上を当社の礎にしてきました。 全ユーザー対象の安全性向上のためにシステム設計をすることは、当社が扱う異なる種類のコンテンツに世界規模で対応する必要があるため、大掛かりな作業となります。 当社がインフラ、AIと人材に 多大な投資 を行なっているのはそのためです。 当社は、 何百件ものモデルを作成中しており、Roblox上でのほぼ全てのやりとりがAI駆動になっています。

2024年第四半期には、当社のユーザーは、ビデオやオーディオ、テキスト、ボイスチャット、アバター、3Dバーチャル空間など3000億件以上のコンテンツをアップロードしました。 しかし、そのコンテンツのうちの0.01%しか当社のポリシーに違反しているとして検知されたものはなく、そのうちのほとんどは事前に内容規制されたため、ユーザーの目に触れませんでした。 当社は、全体的なコンテンツとコミュニケーション機能の安全性を保つために基本高性能AIを発明しました。 これらのモデルは、数百万時間分の音声とコンテンツ項目、加えて1日に40億件を超えるテキストメッセージをミリ秒から数秒の遅延時間で処理します。 当社は、大規模なレベルで良くないコンテンツを検知し、内容審査の判断を下すことに全力を尽くしています。

安全性は、Robloxの枠を超えたものです。 当社のプラットフォーム上にいる間、ユーザーを守るよう努めることはできますが、Roblox上にいない間に当社ができることは限られています。 実のところ、ユーザーが次から次への違うプラットフォームに移動するため、世界中のIT企業がこの問題に直面しています。 ファミリーオンラインセーフティインスティチュート（Family Online Safety Institute） や テック連合（Tech Coalition）　と力を合わせ、当社は何年にもわたってインターネット上の安全性とマナーに関する慣行の推進において指導的な役割を果たしてきました。

この度、当社はGoogle、OpenAI、Discordなどと共に ROOST （Robust Open Online Safety Tools）の創設パートナーになることで、インターネット上の安全に関する指導的な立場をさらに拡大することを誇りに思います。 この新しい非営利団体は、AI時代にふさわしい拡張性や相互運用性、復元性に優れた安全ツールを作成することによって、インターネット上の児童の安全性に特化したデジタル安全性における重要な事柄に対処することに全力を尽くします。

ROOSTは、あらゆる規模の公共の組織または任意団体（その多くが基本的な安全関連テクノロジーへのアクセスができない場合が多い）がユーザーの安全を守るためのシステムを補強するために導入できる、無料でオープンソースの安全リソースを開発し、メンテナンスし、流布させます。 これによって、業務の拡大にさらにエネルギーを注ぐことができるようになるでしょう。

当社は、インターネット全体の安全性強化を支援できることを嬉しく思います。その目的のため、当社はROOSTの技術諮問委員会の共同委員長も務めます。 当社がこれまで学んできたことを共有するこの機会を得て、組織の業務と技術面の戦略をサポートし、知見を提供していきます。

ROOSTの創設パートナーになることで、ROOSTコミュニティの機械学習モデル作成の専門知識を活用し、当社が使用・共有している安全に関する技術を発展させることができます。 これが喜ばしいのは、Robloxやその他のオンラインプラットフォームにとって業務遂行に必要不可欠なインターネット上の安全性における3つの中心的な分野にROOSTが取り組んでいるからです。　 これには、以下が含まれます。

  • さらに強力な児童性的虐待コンテンツ（CSAM）分類器の開発を含む児童の安全性の向上

  • レビュー用コンソール、ヒューリスティック・エンジン、さらに多くのトレーニング例の収集と管理、統計サンプリング、分類、これらの使用に関する人材のトレーニングなど、より優れた安全インフラの構築

  • AIを活用したポリシー遵守のための内容審査の修正とトレーニングをする大規模言語モデル駆動のコンテンツの安全装置の作成

「Robloxのようなインターネット上の安全性における世界的リーダーがROOSTの設立パートナーとして参加することは、我々にとって大きなチャンスです」とROOSTのイーライ・シュガーマン副委員長は述べています。 「オープンソースの安全機能に対するコミットメントを示したRobloxは、オンラインコミュニティ全体の保護に貢献する革新的な方法を共有する絶好の立場にあります」。

これは、オンライン・コミュニティ全体にとって重要な瞬間であり、オープンソースツールに関する当社の取り組みの主要な側面の一つです。 当社は、AIが透明性をもってオープンにされた上で成立する技術だと考えており、オープンソースのAIコミュニティにおける強力なパートナーになることに全力を尽くします。

オープンソース・コミュニティへの技術貢献

ROOSTの創設パートナーになることは、オープンソース・コミュニティへの技術貢献に対する当社の取り組みと密接な関係があります。 この旅路は、人間の内容審査スタッフよりも正確に1日に数百万件規模の音声からポリシー違反を検出できる 音声安全分類器 モデルをオープンソース化した昨年から始まりました。 それから約2万2000回ダウンロードされています。

当社には現在、スペイン語、ドイツ語、フランス語、ポルトガル語、イタリア語、韓国語、日本語の7ヶ国語を扱う最新バージョンのモデルがあり、このモデルをさらに効果的にする新しい技術を採用しています。 これには、人の手による分類作業の調整のためのカリキュラムトレーニング構造、不正使用検知パラメータの拡張、より効率的な特徴抽出と時間短縮レイヤーの追加などが含まれます。 当社は、2025年の第一四半期の終わりまでにモデルの新バージョンをオープンソース化する予定です。 また、違う種類の分類モデルも今年後半にオープンソース化する予定です。

ツールのオープンソース化は、安全に関する業務と制作の両方において、当社の存在意義の一部となっています。 その一例として、当社は昨年、クリエーターが様々な種類の自動生成ツールをバーチャル空間に組み込めるようにするための 3D基礎モデルを発表しました。

当社は、ROOST コミュニティの創設パートナーになることを嬉しく思います。この分野での指導者たちと協力し、ネット空間をより安全な場所にするために力を尽くして貢献することを目指していきます。