• Roblox war schon immer darauf ausgelegt, unsere jüngsten Benutzer:innen zu schützen; jetzt passen wir uns an eine wachsende Zahl älterer Benutzer:innen an.
• Durch Text, Sprache, Bilder, 3D-Modelle und Code befindet sich Roblox in einer einzigartigen Position, um mit multimodalen KI-Lösungen erfolgreich zu sein.
• Wir verbessern die Sicherheit in der gesamten Branche, wo immer wir können, sei es durch Open Source, die Zusammenarbeit mit Partnern oder die Unterstützung von Gesetzen.

Sicherheit und Netiquette sind seit der Gründung von Roblox vor fast zwei Jahrzehnten von grundlegender Bedeutung für das Unternehmen. Vom ersten Tag an haben wir uns verpflichtet, Sicherheitsfunktionen, -tools und Moderationsmöglichkeiten in das Design unserer Produkte einzubauen. Bevor wir eine neue Funktion einführen, machen wir uns bereits Gedanken darüber, wie wir die Community vor möglichen Schäden schützen können. Dieser Prozess, bei dem wir die Funktionen von Anfang an auf Sicherheit und Netiquette ausrichten, einschließlich früher Tests, um zu sehen, wie eine neue Funktion missbraucht werden könnte, hilft uns bei der Innovation. Wir evaluieren ständig die neuesten Forschungsergebnisse und Technologien, um unsere Richtlinien, Tools und Systeme so genau und effizient wie möglich zu gestalten.

In Sachen Sicherheit genießt Roblox eine einzigartige Position. Die meisten Plattformen waren ursprünglich für Erwachsene gedacht und arbeiten jetzt daran, nachträglich Schutzmaßnahmen für Jugendliche und Kinder einzubauen. Unsere Plattform wurde jedoch von Anfang an als sicherer, schützender Raum für Kinder entwickelt, in dem sie erstellen und lernen können, und wir passen uns jetzt an ein schnell wachsendes älteres Publikum an. Außerdem ist das Volumen der Inhalte, die wir moderieren, exponentiell gewachsen, dank aufregender neuer generativer KI-Funktionen und Tools, die noch mehr Menschen die Möglichkeit geben, auf Roblox zu erstellen und zu kommunizieren. Dies sind keine unerwarteten Herausforderungen – unsere Mission ist es, eine Milliarde Menschen auf optimistische und rücksichtsvolle Weise zu verbinden. Wir blicken immer in die Zukunft, um zu verstehen, welche neuen Sicherheitsrichtlinien und -Tools wir brauchen, während wir wachsen und uns anpassen.

Viele unserer Sicherheitsfunktionen und -tools basieren auf innovativen KI-Lösungen, die mit einem Team von Tausenden von Expert:innen zusammenarbeiten, die sich dem Thema Sicherheit widmen. Diese strategische Mischung aus erfahrenen Menschen und intelligenter Automatisierung ist unabdingbar, wenn wir das Volumen der Inhalte, die wir rund um die Uhr moderieren, vergrößern wollen. Außerdem pflegen wir Partnerschaften mit Organisationen, die sich für die Sicherheit im Internet einsetzen, und unterstützen gegebenenfalls Gesetze, von denen wir überzeugt sind, dass sie die Branche als Ganzes verbessern.

Mit KI zum sicheren Wachstum führen

Die schiere Größe unserer Plattform erfordert KI-Systeme, die in puncto Genauigkeit und Effizienz branchenführende Maßstäbe erfüllen oder übertreffen, damit wir schnell reagieren können, wenn die Community wächst, sich Richtlinien und Anforderungen weiterentwickeln und neue Herausforderungen entstehen. Heute kommunizieren und teilen mehr als 71 Millionen täglich aktive Benutzer:innen in 190 Ländern Inhalte auf Roblox. Jeden Tag senden Menschen Milliarden von Chatnachrichten an ihre Freund:innen auf Roblox. In unserem Creator Store stehen Millionen von Artikeln zum Verkauf – und jeden Tag fügen Creator:innen neue Avatare und Artikel zumMarktplatz hinzu. Und diese Zahl wird noch weiter steigen, wenn wir weiter wachsen und den Menschen neue Möglichkeiten bieten, auf Roblox zu erstellen und zu kommunizieren.

Während die Branche große Sprünge beim maschinellen Lernen (ML), großen Sprachmodellen (LLM) und multimodaler KI macht, investieren wir stark in Möglichkeiten, diese neuen Lösungen zu nutzen, um Roblox noch sicherer zu machen. KI-Lösungen helfen uns bereits bei der Moderation von Textchats, immersiver Sprachkommunikation, Bildern und 3D-Modellen und -Meshes. Jetzt nutzen wir viele dieser Technologien, um die Erstellung auf Roblox für unsere Community schneller und einfacher zu machen.

Innovation mit multimodalen KI-Systemen

Es liegt in der Natur unserer Plattform, dass sie Text, Sprache, Bilder, 3D-Modelle und Code kombiniert. Multimodale KI, bei der Systeme auf mehrere Datentypen gleichzeitig trainiert werden, um genauere und ausgefeiltere Ergebnisse zu erzielen als ein unimodales System, ist eine einzigartige Chance für Roblox. Multimodale Systeme sind in der Lage, Kombinationen von Inhaltstypen (z.B. Bilder und Text) zu erkennen, die auf eine Weise problematisch sein können, wie es die einzelnen Elemente nicht sind. Um uns vorzustellen, wie das funktionieren könnte, nehmen wir an, ein Kind benutzt einen Avatar, der wie ein Schwein aussieht – völlig in Ordnung, oder? Jetzt stell dir vor, jemand anderes schickt eine Chat-Nachricht, in der es heißt: “Das sieht genau so aus wie du! ” Diese Nachricht könnte gegen unsere Richtlinien zum Thema Mobbing verstoßen.

Ein Modell, das nur auf 3D-Modelle trainiert ist, würde den Avatar genehmigen. Und ein Modell, das nur auf Text trainiert ist, würde den Text akzeptieren und den Kontext des Avatars ignorieren. Nur ein Modell, das auf Text und 3D-Modelle trainiert wurde, wäre in der Lage, das Problem in diesem Beispiel schnell zu erkennen und zu markieren. Wir stehen mit diesen multimodalen Modellen noch am Anfang, aber wir sehen eine Welt in nicht allzu ferner Zukunft, in der unser System auf eine Missbrauchsmeldung reagiert, indem es das gesamte Erlebnis überprüft. Es könnte den Code, das Bildmaterial, die Avatare und die Kommunikation darin als Input verarbeiten und entscheiden, ob weitere Untersuchungen oder Konsequenzen gerechtfertigt sind.

Wir haben bereits bedeutende Fortschritte bei der Nutzung multimodaler Techniken gemacht, wie unser Modell, das Richtlinienverstöße in der Sprachkommunikation nahezu in Echtzeit aufdeckt. Wir haben vor, Fortschritte wie diese weiterzugeben, wenn wir die Möglichkeit sehen, die Sicherheit und Netiquette nicht nur auf Roblox, sondern in der gesamten Branche zu verbessern. Unser erstes Open-Source-Modell beispielsweise, ein Klassifikator für Sprachsicherheit, stellen wir der gesamten Branche zur Verfügung.

Inhalte in großem Maßstab moderieren

Bei Roblox überprüfen wir die meisten Arten von Inhalten, um kritische Richtlinienverstöße zu erkennen, bevor sie auf der Plattform erscheinen. Damit dies ohne spürbare Verzögerungen für die Personen geschieht, die ihre Inhalte veröffentlichen, sind sowohl Geschwindigkeit als auch Genauigkeit erforderlich. Bahnbrechende KI-Lösungen helfen uns dabei, bessere Entscheidungen in Echtzeit zu treffen, um problematische Inhalte von Roblox fernzuhalten – und wenn es doch etwas auf die Plattform schafft, haben wir Systeme, um diese Inhalte zu identifizieren und zu entfernen, einschließlich unserer robusten Benutzer-Meldesysteme.

Wir haben festgestellt, dass die Genauigkeit unserer automatisierten Moderationstools bei wiederholbaren, einfachen Aufgaben die der menschlichen Moderatoren übertrifft. Durch die Automatisierung dieser einfacheren Fälle können unsere menschlichen Moderatoren den Großteil ihrer Zeit für das verwenden, was sie am besten können – die komplexeren Aufgaben, die kritisches Denken und tiefere Untersuchungen erfordern. Bei der Sicherheit wissen wir jedoch, dass die Automatisierung die menschliche Überprüfung nicht vollständig ersetzen kann. Unsere menschlichen Moderatoren sind von unschätzbarem Wert, da sie uns dabei helfen, unsere ML-Modelle kontinuierlich zu überwachen und auf Qualität und Konsistenz zu testen, und hochwertige markierte Datensätze zu erstellen, um unsere Systeme aktuell zu halten. Sie helfen dabei, neue Slangausdrücke und Abkürzungen in allen 16 von uns unterstützten Sprachen zu identifizieren, und markieren häufig auftretende Fälle, damit das System darauf trainiert werden kann, sie zu erkennen.

Wir wissen, dass auch qualitativ hochwertige ML-Systeme Fehler machen können, deshalb haben wir menschliche Moderatoren in unserem Beschwerdeverfahren. Unsere Moderatoren helfen uns bei der korrekten Bearbeitung der Beschwerden und können uns darauf hinweisen, dass in bestimmten Fällen weiteres Training erforderlich ist. So wird unser System im Laufe der Zeit immer genauer und lernt aus seinen Fehlern.Am wichtigsten ist, dass bei kritischen Ermittlungen in Hochrisikofällen wie Extremismus oder Kindergefährdung immer Menschen beteiligt sind. Für diese Fälle haben wir ein spezielles internes Team, das proaktiv böswillige Akteure identifiziert und entfernt und schwierige Fälle in unseren kritischsten Bereichen untersucht. Dieses Team arbeitet auch mit unserem Produktteam zusammen und tauscht sich mit ihm aus, um die Sicherheit unserer Plattform und unserer Produkte kontinuierlich zu verbessern.

Kommunikation moderieren

Unser Textfilter wurde auf Roblox-spezifische Sprache, einschließlich Slang und Abkürzungen, trainiert. Die 2,5 Milliarden Chatnachrichten, die jeden Tag auf Roblox verschickt werden, durchlaufen diesen Filter, der in der Lage ist, richtlinienwidrige Sprache zu erkennen. Dieser Filter erkennt Verstöße in allen von uns unterstützten Sprachen, was besonders wichtig ist, da wir jetzt Echtzeit-KI-Chat-Übersetzungen veröffentlicht haben.

Wir haben schon früher darüber berichtet, wie wir über ein eigenes System zur Spracherkennung die Sprachkommunikation in Echtzeit moderieren. Die Innovation besteht darin, dass das KI-System in der Lage ist, innerhalb von Sekunden eine Live-Audioaufnahme als richtlinienwidrig oder nicht einzustufen. Als wir mit dem Testen unseres Sprachmoderationssystems begannen, stellten wir fest, dass in vielen Fällen Menschen unbeabsichtigt gegen unsere Richtlinien verstießen, weil sie mit unseren Regeln nicht vertraut waren. Wir haben ein Echtzeit-Sicherheitssystem entwickelt, das die Benutzer:innen benachrichtigt, wenn ihre Äußerungen gegen eine unserer Richtlinien verstoßen.

Diese Benachrichtigungen sind eine frühe, milde Warnung, ähnlich wie die höfliche Aufforderung, in einem öffentlichen Park mit kleinen Kindern auf deine Wortwahl zu achten. In Tests haben sich diese Maßnahmen als erfolgreich erwiesen, da sie die Menschen daran erinnern, respektvoll zu sein, und sie auf unsere Richtlinien verweisen, um mehr darüber zu erfahren. Die Ergebnisse unserer Tests sind ermutigend und deuten darauf hin, dass diese Tools böswillige Akteure effektiv von der Plattform fernhalten und wirklich engagierte Benutzer:innen dazu ermutigen, ihr Verhalten auf Roblox zu verbessern. Seit der Einführung der Echtzeitsicherheit für alle englischsprachigen Benutzer:innen im Januar haben wir in Sachen Sprachkommunikation bei den täglich aktiven Benutzer:innen einen Rückgang der Missbrauchsmeldungen pro Benutzer:in um 53 Prozent festgestellt.

Erstellung moderieren

Für visuelle Objekte, einschließlich Avatare und Avatar-Accessoires, verwenden wir Computer Vision (CV). Eine Technik besteht darin, den Artikel aus verschiedenen Blickwinkeln zu fotografieren. Das System prüft dann diese Fotos, um über den nächsten Schritt zu entscheiden. Wenn alles in Ordnung zu sein scheint, wird der Artikel genehmigt. Wenn etwas eindeutig gegen eine Richtlinie verstößt, wird der Artikel gesperrt und wir teilen den Creator:innen mit, was unserer Meinung nach nicht in Ordnung ist. Wenn das System sich nicht sicher ist, wird der Artikel an einen menschlichen Moderator weitergeleitet, der ihn sich genauer ansieht und die endgültige Entscheidung trifft.

Wir gehen bei Avataren, Accessoires, Codes und vollständigen 3D-Modellen ähnlich vor. Bei vollständigen Modellen gehen wir noch einen Schritt weiter und bewerten den gesamten Code und andere Elemente, aus denen das Modell besteht. Wenn wir ein Auto bewerten, zerlegen wir es in seine Bestandteile – Lenkrad, Sitze, Reifen und den zugrunde liegenden Code – um festzustellen, ob eines davon problematisch sein könnte. Bei einem Avatar, der wie ein Welpe aussieht, müssen wir prüfen, ob die Ohren, die Nase und die Zunge problematisch sind.

Wir müssen auch in die andere Richtung bewerten können. Was ist, wenn die einzelnen Komponenten alle in Ordnung sind, aber ihre Gesamtwirkung gegen unsere Richtlinien verstößt? Ein Schnurrbart, eine khakifarbene Jacke und eine rote Armbinde zum Beispiel sind für sich genommen nicht problematisch. Aber wenn man sich vorstellt, dass diese Teile zusammen auf dem Avatar einer Person zu sehen sind, mit einem kreuzähnlichen Symbol auf der Armbinde und einem Arm, der zum Nazigruß erhoben ist, wird das Problem deutlich.

Hier unterscheiden sich unsere eigenen Modelle von den herkömmlichen CV-Modellen. Diese werden in der Regel auf reale Artikel trainiert. Sie können ein Auto oder einen Hund erkennen, aber nicht die Einzelteile dieser Dinge. Unsere Modelle wurden so trainiert und optimiert, dass sie Artikel bis zum kleinsten Bestandteil beurteilen können.

Zusammenarbeit mit Partnern

Wir setzen alle uns zur Verfügung stehenden Tools ein, um die Sicherheit aller Roblox-Benutzer:innen zu gewährleisten, aber es ist uns genauso wichtig, unsere Erkenntnisse mit anderen zu teilen. So stellen wir unser erstes Open-Source-Modell, einen Klassifikator für Sprachsicherheit, zur Verfügung, damit andere ihre eigenen Sprachsicherheitssysteme verbessern können. Wir arbeiten auch mit Dritten zusammen, um Wissen und Best Practices zu teilen, während sich die Branche weiterentwickelt. Wir bauen enge Beziehungen zu einer Vielzahl von Organisationen auf, darunter Elternvertretungen, Organisationen für psychische Gesundheit, Regierungsbehörden und Strafverfolgungsbehörden. Sie geben uns wertvolle Einblicke in die Bedenken, die Eltern, politische Entscheidungsträger und andere Gruppen in Bezug auf die Sicherheit im Internet haben. Im Gegenzug können wir unsere Erkenntnisse und die Technologie, die wir einsetzen, um die Plattform sicher und rücksichtsvoll zu halten, mit ihnen teilen.

Die Sicherheit der jüngsten und gefährdetsten Menschen auf unserer Plattform steht für uns an erster Stelle. Wir haben Programme wie unser Trusted Flagger Program eingeführt, die uns dabei helfen, unsere Reichweite zu vergrößern und die Menschen auf unserer Plattform zu schützen. Wir arbeiten mit politischen Entscheidungsträgern bei wichtigen Initiativen zur Kindersicherheit, bei der Gesetzgebung und anderen Bemühungen zusammen. Wir waren zum Beispiel das erste und eines der wenigen Unternehmen, die den California Age-Appropriate Design Code Act unterstützt haben, weil wir der Meinung sind, dass dies im besten Interesse junger Menschen ist. Wenn wir glauben, dass etwas jungen Menschen hilft, wollen wir es auch allen anderen mitteilen. Kürzlich haben wir ein Unterstützungsschreiben für die California Bill SB 933 unterzeichnet, die die Gesetze des Bundesstaates aktualisiert, um KI-generiertes Material bezüglich sexuellen Missbrauchs von Kindern ausdrücklich zu verbieten. 

Auf dem Weg in eine sicherere Zukunft

Die Arbeit daran ist nie zu Ende. Wir arbeiten bereits an der nächsten Generation von Sicherheitstools und -funktionen, während wir es für alle einfacher machen, auf Roblox zu erstellen. Während wir wachsen und neue Möglichkeiten zum Erstellen und Austauschen bieten, werden wir weiterhin neue, bahnbrechende Lösungen entwickeln, um die Sicherheit und Netiquette auf Roblox und darüber hinaus zu gewährleisten.