Di Balik Teknologi - Memecahkan Masalah Keamanan dalam Komunikasi Suara Imersif

Di Balik Teknologi adalah serial blog yang menyertai Podcast Obrolan Teknologi kami. Dalam episode ke-20 podcast The Evolution of Roblox Avatars, Roblox CEO David Baszucki berbincang dengan Senior Director of Engineering Kiran Bhat, Senior Director of Product Mahesh Ramasubramanian, dan Principal Product Manager Effie Goenawan, mengenai masa depan komunikasi imersif melalui avatar dan tantangan teknis yang sedang kami atasi untuk mendukungnya. Dalam edisi Di Balik Teknologi kali ini, kami berbincang dengan Senior Engineering Manager Andrew Portner untuk mempelajari lebih lanjut tentang salah satu tantangan teknis tersebut, yaitu keamanan dalam komunikasi suara imersif, dan bagaimana upaya tim membantu menciptakan lingkungan digital yang aman dan sopan untuk semua orang di platform kami.

Apa tantangan teknis terbesar yang dihadapi oleh tim kamu?

Prioritas kami adalah menjaga agar pengalaman pengguna tetap aman dan positif. Keamanan dan kesopanan selalu menjadi prioritas utama kami, tetapi menanganinya secara real-time bisa menjadi tantangan teknis yang besar. Setiap kali ada masalah, kami ingin dapat me-review-nya dan mengambil tindakan secara real time, tetapi hal ini menjadi tantangan mengingat cakupan Roblox. Untuk menangani skala ini secara efektif, kami perlu memanfaatkan sistem keamanan otomatis.

Tantangan teknis lain yang menjadi fokus kami adalah akurasi langkah-langkah keamanan untuk moderasi. Ada dua pendekatan moderasi untuk mengatasi pelanggaran kebijakan dan memberikan umpan balik yang akurat secara real time: moderasi reaktif dan proaktif. Untuk moderasi reaktif, kami mengembangkan model mesin pembelajaran (ML) untuk mengidentifikasi berbagai jenis pelanggaran kebijakan secara akurat, yang bekerja dengan cara merespons laporan dari orang-orang di platform. Secara proaktif, kami sedang mengerjakan deteksi real-time terhadap konten yang berpotensi melanggar kebijakan, sehingga mendidik pengguna tentang perilaku mereka. Memahami kata yang diucapkan dan meningkatkan kualitas audio merupakan proses yang kompleks. Kami sudah melihat kemajuan, namun tujuan utama kami adalah mengembangkan model yang sangat akurat, yang dapat mendeteksi perilaku yang melanggar kebijakan secara real-time.

Apa saja pendekatan dan solusi inovatif yang kita gunakan untuk mengatasi tantangan teknis ini?

Kita telah mengembangkan model ML yang komprehensif yang mampu menganalisis data audio dan memberikan tingkat keyakinan berdasarkan tipe pelanggaran kebijakan (seperti kemungkinan perundungan, kata-kata tidak senonoh, dll.) Model ini telah secara signifikan meningkatkan kemampuan kita untuk menyelesaikan laporan tertentu secara otomatis. Kita mengambil tindakan ketika model memiliki tingkat kepercayaan yang tinggi dan yakin bahwa performanya lebih baik daripada manusia. Hanya dalam beberapa bulan setelah peluncuran, kita berhasil memoderasi hampir semua laporan penyalahgunaan suara berbahasa Inggris menggunakan model ini. Kita telah mengembangkan model-model ini secara internal, yang menjadi bukti kolaborasi antara berbagai teknologi open source dan upaya kita sendiri dalam menciptakan teknologi yang mendasarinya.

Menentukan apa yang pantas secara real-time terbukti cukup rumit. Bagaimana cara kerjanya?

Banyak pemikiran telah dicurahkan untuk mengembangkan sistem ini agar dapat memahami konteks dengan lebih baik. Kita juga menganalisis pola dari waktu ke waktu sebelum mengambil tindakan, agar dapat memastikan bahwa keputusan kita dapat dibenarkan. Kebijakan kita disesuaikan dengan usia seseorang, apakah mereka berada di ruang publik atau chat privat, serta berbagai faktor lain. Kita sedang menjajaki cara-cara baru untuk mendorong kesopanan secara real-time, dan ML menjadi inti untuk upaya ini. Baru-baru ini kita meluncurkan notifikasi push otomatis (atau “nudges”) untuk mengingatkan pengguna tentang kebijakan kami. Kita juga mempertimbangkan faktor-faktor lain, seperti nada suara, untuk lebih memahami niat seseorang dan membedakan hal-hal seperti sarkasme atau lelucon. Terakhir, kita juga mengembangkan model multibahasa karena sebagian orang berbicara dalam berbagai bahasa atau bahkan beralih bahasa di tengah percakapan. Agar semua ini dapat terwujud, kita harus memiliki model yang akurat.

Saat ini, fokus kita adalah menangani bentuk penyalahgunaan yang paling menonjol, seperti pelecehan, diskriminasi, dan kata-kata yang tidak senonoh. Sebagian besar laporan penyalahgunaan terdiri dari hal-hal tersebut. Tujuan kita adalah menciptakan dampak yang besar di area ini dan menetapkan norma industri yang dapat menjadi contoh tentang cara untuk mempromosikan dan menjaga kesopanan dalam percakapan online. Kita senang dengan potensi penggunaan ML secara real-time, karena memungkinkan kita untuk secara efektif mengupayakan penciptaan pengalaman virtual yang aman dan sopan bagi semua orang.

Mengapa tantangan yang kita hadapi di Roblox itu unik? Apa yang harus kita tangani terlebih dahulu?

Teknologi Chat dengan Suara Spasial kita menciptakan pengalaman yang lebih imersif, sehingga menyerupai komunikasi di dunia nyata. Misalnya, jika saya berdiri di sebelah kiri seseorang, dia akan mendengar suara saya di telinga kirinya. Kita menciptakan analog tentang cara kerja komunikasi di dunia nyata. Tantangan ini harus kita atasi terlebih dahulu.

Sebagai seorang gamer, saya telah menyaksikan berbagai bentuk pelecehan dan perundungan dalam game online. Ini adalah masalah yang sering terabaikan akibat anonimitas pengguna dan minimnya konsekuensi. Namun, tantangan teknis yang kita hadapi dalam hal ini cukup unik jika dibandingkan dengan yang dihadapi platform lain, terutama di beberapa area. Di beberapa platform game, interaksi terbatas hanya pada rekan satu tim. Roblox menawarkan berbagai cara untuk berinteraksi di lingkungan sosial yang lebih mirip dengan kehidupan nyata. Dengan kemajuan dalam pembelajaran mesin (ML) dan pemrosesan sinyal real-time, kita dapat secara efektif mendeteksi dan menangani perilaku abusif. Ini berarti kita tidak hanya menciptakan lingkungan yang lebih realistis, tetapi juga lingkungan yang membuat semua orang merasa aman untuk berinteraksi dan terhubung dengan orang lain. Kombinasi teknologi, platform imersif, dan komitmen kita untuk mengedukasi pengguna tentang kebijakan kita, telah menempatkan kita dalam posisi yang tepat untuk mengatasi tantangan ini secara langsung.

Apa saja hal-hal penting yang telah kamu pelajari dari melakukan pekerjaan teknis ini?

Saya merasa telah belajar banyak. Saya bukan seorang ML engineer. Saya lebih sering bekerja di bagian depan (front-end) dunia game, jadi saya sangat senang bisa mempelajari lebih dalam cara kerja model-model ini. Harapan saya adalah tindakan yang kita lakukan untuk mempromosikan kesopanan dapat menghasilkan tingkat empati yang lebih tinggi dalam komunitas online, yang selama ini masih kurang.

Satu pembelajaran terakhir adalah bahwa semuanya tergantung pada data pelatihan yang dimasukkan. Dan agar data menjadi akurat, manusia harus menyetujui label yang digunakan untuk mengategorikan perilaku tertentu yang melanggar kebijakan. Model harus dilatih dengan data berkualitas yang dapat diterima oleh semua pihak. Ini adalah masalah yang sangat sulit untuk dipecahkan. Ada area-area di mana ML sudah jauh berkembang, dan ada juga area lain di mana ML masih berada di tahap awal. Di banyak area, ML masih terus berkembang, jadi keterbatasannya saat ini harus dipahami.

Nilai Roblox mana yang paling selaras dengan tim kamu?

Menghargai komunitas adalah nilai yang menjadi pedoman kami selama proses ini. Pertama, kami perlu fokus untuk meningkatkan kesopanan dan mengurangi pelanggaran kebijakan di platform kita. Hal ini berdampak signifikan terhadap pengalaman pengguna secara keseluruhan. Kedua, kami harus mempertimbangkan dengan cermat cara meluncurkan fitur-fitur baru ini. Kami perlu berhati-hati terhadap hasil positif palsu (misalnya, salah menandai sesuatu sebagai penyalahgunaan) dalam model, serta menghindari kesalahan dalam memberikan sanksi kepada pengguna. Pemantauan performa model dan dampaknya terhadap interaksi pengguna sangat penting.

Apa yang paling membuatmu bersemangat tentang tujuan Roblox dan tim kamu?

Kami telah membuat kemajuan yang signifikan dalam meningkatkan komunikasi publik melalui suara, tetapi masih banyak yang harus dilakukan. Komunikasi privat adalah bidang yang menarik untuk didalami. Menurut saya, ada peluang besar untuk meningkatkan komunikasi privat, sehingga pengguna dapat lebih bebas mengekspresikan diri kepada teman dekat, melalui panggilan suara baik antar-pengalaman virtual maupun saat berinteraksi dengan teman di dalam suatu pengalaman virtual. Menurut saya, ada juga peluang untuk mengembangkan komunitas ini dengan alat yang lebih baik, sehingga pengguna dapat mengatur diri sendiri, bergabung dengan komunitas, serta berbagi konten dan ide.

Seiring dengan pertumbuhan Roblox, bagaimana kita meningkatkan teknologi chat untuk mendukung komunitas yang terus berkembang ini? Kita baru memanfaatkan sedikit potensi dibandingkan yang bisa kita capai, dan saya rasa ada peluang untuk meningkatkan kesopanan komunikasi online dan kolaborasi di seluruh industri ini dengan cara yang belum pernah dilakukan sebelumnya. Dengan teknologi yang tepat dan kemampuan ML, kita berada pada posisi yang strategis untuk membentuk masa depan komunikasi online yang beradab.