온라인 안전에 대한 핵심적인 접근을 위해 새로운 오픈 소스 이니셔티브의 설립 파트너로 합류하는 Roblox

• Roblox는 안전성 부문에 대해 AI에 기반한 접근 방식을 취하고 있으며, 각 모델을 텍스트 및 음성 커뮤니케이션, 이미지, 3D 모델, 메시에 적용합니다.

• 사용자 안전, 특히 저연령 사용자의 안전성을 확보하는 것은 언제나 Roblox의 최우선순위이기에, 안전 시스템에 대한 지속적인 투자 및 개선이 이루어지고 있습니다.

• 오픈 소스 커뮤니티에 기여하는 것의 중요성에 따라, Roblox는 ROOST의 설립 파트너로서 안전 기술 분야의 리더십 역량을 확장하고자 합니다. ROOST는 신규 비영리 단체로서 오픈 소스 안전 기능을 홍보하여 ​​디지털 안전의 중요한 영역을 다루는 데 전념하고 있습니다.

• 또한 Roblox는 음성 안전 분류 모델(Roblox 플랫폼에서 매일 최대 40만 시간의 활성 음성을 처리하는 9400만 매개변수 모델)의 신규 버전을 오픈 소스화하고 있으며, 향후 추가적인 오픈 소스 안전 AI 모델을 출시할 계획입니다.

창업 이래로 죽 약 20여년 간 Roblox는 안전성과 매너를 갖춘 플랫폼을 조성하기 위해 노력해 왔습니다. 사용자의 안전을 증진하기 위한 시스템을 설계하는 것은 특히 글로벌 규모의 다양한 콘텐츠가 존재하는 플랫폼 운영을 위해 더욱 중요한 사안입니다. 이것이 바로 Roblox가 인프라, AI, 인력에 막대한 투자를 하는 이유입니다. Roblox의 거의 모든 상호 작용은 현재 제공 중인 수백 개의 모델을 통해 어떤 방식으로든 AI의 지원을 통해 이루어집니다.

2024년 4분기에 사용자들은 비디오, 오디오, 텍스트, 음성 채팅, 아바타, 3D 체험 등 3000억 개가 넘는 콘텐츠를 업로드했습니다. 하지만 이 가운데 단 0.01%만이 정책을 위반한 것으로 감지되었으며, 그중 대부분은 사전에 검열되었기 때문에 사용자에게 나타나지 않았습니다. 또한 Roblox는 모든 범위의 콘텐츠와 커뮤니케이션 방식을 안전하게 유지하기 위해 핵심적인 고성능 AI를 개발했습니다. 본 모델은 하루에 40억 개가 넘는 텍스트 메시지, 수백만의 음성 시간, 콘텐츠 항목에 대해 단 밀리 초의 지연 시간을 두고 작동합니다. 이는 규정 위반 콘텐츠를 감지하고 대규모의 콘텐츠를 검열하기 위한 Roblox의 노력을 반영합니다.

안전성은 Roblox의 제어 범위 밖에서도 확보되어야 합니다. 사용자들은 Roblox에 머무르고 있을 때는 보호받을 수 있지만 사이트를 떠나고 나면 더 이상 Roblox의 보호를 받지 못합니다. 실제로 전 세계의 인터넷 기업들은 사용자가 타 플랫폼으로 이동할 때 이러한 문제에 직면합니다. 그래서 수년에 걸쳐 Roblox는 가족 온라인 안전 연구소(Family Online Safety Institute) 및 테크 코얼리션(Tech Coalition)과 같은 조직과 함께 온라인 안전 및 매너 증진에 대한 선도적인 역할을 맡아 왔습니다.

이제 Roblox는 Google, OpenAI, Discord 등과 함께 ROOST(Robust Open Online Safety Tools)의 설립 파트너가 되어 온라인 안전 분야에서의 리더십 역량을 확장하게 되었습니다. ROOST는 신규 설립된 비영리 단체로, AI 시대에 적합한 확장 가능하고 상호 운용 가능하며 회복 탄력적인 안전 기능을 구축해 디지털 안전, 특히 온라인 아동 안전의 중요한 과제를 해결하는 데 전념하고 있습니다.

ROOST는 모든 규모의 공공 및 민간 조직(대부분 기본 안전 기술이 미흡한 경우)에서 사용자 안전 시스템을 강화하기 위해 사용할 수 있는 무료 오픈 소스 안전 리소스를 개발, 유지 관리 및 배포할 것입니다. 이로써 각 조직은 비즈니스 성장에 더욱 집중할 수 있게 됩니다.

Roblox는 ROOST 기술 자문 위원회의 공동 의장으로 활동하며 인터넷 전반의 안전 강화에 일조하고자 합니다. 또한 각 활동을 통해 습득한 사항을 모두와 공유하고, 조직의 업무와 기술 전략을 알리고 지원할 계획입니다.

ROOST의 창립 파트너가 되면 ROOST 커뮤니티의 기계 학습 모델링에 대한 전문 지식을 활용해 우리가 사용하고 공유하는 안전 기술을 발전시킬 수 있습니다. ROOST는 Roblox 및 기타 온라인 플랫폼에 필수적인 온라인 안전의 세 가지 핵심 영역을 연구하고 있기 때문에 이는 매우 흥미로운 일입니다. 여기에는 다음이 포함됩니다.

• 더욱 철저한 아동 성적 학대 자료(CSAM) 분류 개발을 포함하는 아동 안전 개선

• 검토 콘솔, 휴리스틱 엔진, 더 많은 교육 사례 수집 및 선별, 통계적 샘플링, 레이블링, 이러한 사용 사례에 대한 교육 등 더 우수한 안전 인프라 구축

• 정책 이행을 위해 AI를 활용함으로써 검열자를 관리하고 교육하는 대규모 언어 모델 기반 콘텐츠 안전 장치 개발

ROOST의 이사회 엘리 슈거먼(Eli Sugarman) 부회장은 다음과 같이 밝혔습니다. “Roblox와 같은 온라인 안전 분야의 글로벌 리더가 ROOST에 설립 파트너로 합류하는 것은 우리에게 아주 좋은 기회입니다. 오픈소스 안전에 대한 입증된 노력을 통해 Roblox는 전체 온라인 커뮤니티를 보호하는 데 도움이 되는 혁신적인 접근 방식을 공유할 수 있는 좋은 위치에 있습니다."

이는 전체 온라인 커뮤니티를 위한 중요한 순간이며, 오픈 소스 툴을 위한 작업은 그 주요 요소라 할 수 있습니다. AI는 투명성과 개방성을 기반으로 구축되어야 하는 기술이므로, Roblox는 오픈 소스 AI 커뮤니티에서 영향력 있는 파트너가 되기 위해 최선을 다할 것입니다.

오픈 소스 커뮤니티에 대한 기술 공헌

ROOST의 설립 파트너가 되는 것은 오픈 소스 커뮤니티에 기술을 공헌하려는 Roblox의 접근 방식과 밀접한 관련이 있습니다. 이는 작년에 음성 안전 분류 모델을 오픈 소스로 공개하면서 시작된 여정으로, 본 모델은 하루 수백만 분의 음성 활동 규모로 실제 검열 인력보다 더 정확하게 정책 위반을 감지할 수 있습니다. 이는 공개 이후 2만 2000회 가까이 다운로드되었습니다.

이제 본 모델은 스페인어, 독일어, 프랑스어, 포르투갈어, 이탈리아어, 한국어, 일본어 등 7개의 새로운 언어를 처리하며, 모델의 효율을 높이는 새로운 기술이 적용된 업데이트된 버전 또한 이용 가능합니다. 여기에는 인력에 의한 레이블링의 미세 조정, 규정 위반 헤드 확장, 보다 효율적인 특징 추출, 시간 단축 레이어 추가를 위한 커리큘럼 교육 아키텍처가 포함됩니다. Roblox는 2025년 1분기 말까지 신규 버전을 오픈 소스화할 계획이며, 올해 후반에는 다른 양식에 대한 분류 모델도 오픈 소스화할 계획입니다.

모델에 대한 오픈소스화는 Roblox가 추구하는 방향의 일부로, 안전성 관련 작업 및 창작을 지원하기 위한 것입니다. 한 예로, 지난 해 Roblox는 크리에이터를 위해 다양한 유형의 자동 생성 기능을 체험에 적용하는 데 도움이 되는 3D 기초 모델을 출시하기도 했습니다.

ROOST 커뮤니티의 설립 파트너가 되어 무척 기쁩니다. 앞으로 해당 분야의 여러 리더들과 협력하며, 보다 안전한 인터넷 세상을 만드는 데 기여하고자 최선을 다하겠습니다.