AI 시대의 콘텐츠 전쟁: 페이스북 베테랑이 만든 '문바운스'가 제시하는 새로운 안전 표준
Published Apr 3, 2026
지금 이 순간에도 수많은 AI 챗봇들이 사용자와 대화하고, 새로운 이미지를 생성하며, 전례 없는 속도로 콘텐츠의 홍수를 만들어내고 있습니다. 하지만 이 거대한 흐름 속에서 불거지는 끔찍한 부작용들 — 가령 챗봇이 청소년에게 자해 지침을 제공하거나, AI 생성 이미지가 안전 필터를 뚫고 부적절하게 확산되는 경우 — 은 우리에게 ‘기술 혁신’ 이면에 도사린 ‘위험’의 그림자를 여실히 보여주고 있습니다. 업계는 이제 더 이상 피할 수 없는 질문에 직면했습니다. 이 급변하는 AI 시대에, 어떻게 콘텐츠의 안전을 담보하고 사용자들을 보호할 수 있을까요? 그리고 단순히 사후 조치에 머무르지 않고, 선제적이고 예측 가능한 안전망을 구축하는 것이 과연 가능할까요?
과거의 유령, AI 시대의 새로운 얼굴로 돌아오다
솔직히 말해서, 온라인 콘텐츠 중재 문제는 어제오늘의 이야기가 아닙니다. 2019년, 브렛 레벤슨(Brett Levenson)이 애플을 떠나 페이스북에서 ‘비즈니스 무결성’을 이끌기 위해 합류했을 때, 페이스북은 캠브리지 애널리티카 스캔들로 인해 한바탕 홍역을 치르는 중이었습니다. 그는 당시 기술로 이 문제를 해결할 수 있다고 순진하게 생각했죠. 하지만 현실은 달랐습니다.
수만 명의 인간 검토자들은 기계 번역된 40페이지짜리 정책 문서를 암기해야 했고, 플래그가 지정된 콘텐츠 한 건당 고작 30초 안에 위반 여부와 조치(차단, 사용자 밴, 확산 제한 등)를 결정해야 했습니다. 레벤슨의 말에 따르면, 이들의 판단 정확도는 “50%를 살짝 웃도는 수준”이었습니다. 이건 거의 동전 던지기와 다를 바 없었다는 겁니다. 게다가, 이런 조치들은 해로운 콘텐츠가 이미 확산된 지 한참 후에나 이루어지는 사후약방문 격이었습니다. 민첩하고 자금력이 풍부한 적대적 행위자들이 우글거리는 온라인 환경에서, 이처럼 느리고 반응적인 접근 방식은 사실상 무용지물이었습니다.
그런데 이제, AI 챗봇의 등장은 이 문제를 훨씬 더 복잡하고 예측 불가능하게 만들었습니다. AI는 상상조차 못했던 방식으로 유해 콘텐츠를 생성하고 확산시킬 수 있게 되었죠. 챗봇이 자살을 조장하거나, 동의 없는 나체 이미지를 만들어내는 등 충격적인 사건들이 연이어 발생하면서 AI 기업들은 막대한 법적, 명예적 압박에 시달리고 있습니다. 내부 안전 장치가 제대로 작동하지 않으면서, 이는 이제 단순한 운영 문제가 아닌 기업의 ‘책임’ 문제로 비화하고 있습니다. 레벤슨은 바로 이러한 좌절감 속에서 ‘정책을 코드로(policy as code)‘라는 아이디어를 떠올렸다고 합니다. 정적인 정책 문서를 실행 가능하고 업데이트 가능한 논리로 전환하여 집행과 긴밀하게 연결하는 방식 말입니다.
‘정책을 코드로’ – 문바운스(Moonbounce)가 제시하는 실시간 안전망
이 혁신적인 아이디어가 바로 문바운스(Moonbounce)의 탄생으로 이어졌습니다. 그리고 최근, 문바운스는 무려 1,200만 달러의 투자를 유치하며 AI 시대의 콘텐츠 안전이라는 거대한 도전에 정면으로 맞서기 위한 발판을 마련했습니다. 앰플리파이 파트너스(Amplify Partners)와 스텝스톤 그룹(StepStone Group)이 공동으로 라운드를 이끌었다니, 업계의 기대가 얼마나 큰지 짐작할 수 있습니다.
문바운스의 핵심은 자체 개발한 대규모 언어 모델(LLM)을 활용하는 것입니다. 이 모델은 고객사의 정책 문서를 학습하고, 콘텐츠가 생성되는 ‘실시간(runtime)‘에 이를 평가하며, 300밀리초 이내에 응답을 제공하고, 즉각적인 조치를 취할 수 있습니다. 예를 들어, 문바운스 시스템은 고위험 콘텐츠를 즉시 차단하거나, 인간 검토를 기다리는 동안 확산을 늦추는 등의 조치를 취합니다.
문바운스는 단순히 과거의 문제를 답습하지 않습니다. 그들은 사용자 생성 콘텐츠(UGC) 플랫폼(데이트 앱 등), AI 캐릭터/동반자 앱, 그리고 AI 이미지 생성기와 같은 세 가지 주요 수직 시장을 공략하고 있습니다. 현재 문바운스 시스템은 매일 4천만 건 이상의 콘텐츠를 검토하고 있으며, 1억 명 이상의 일일 활성 사용자를 지원하고 있다고 합니다. 채널 AI(Channel AI), 시비타이(Civitai), 디피 AI(Dippy AI), 모이스케이프(Moescape) 같은 주요 AI 스타트업들이 이미 문바운스의 고객입니다.
이 부분에서 주목할 점은 문바운스가 단순한 ‘방어벽’이 아니라, ‘안전을 제품의 이점(product benefit)‘으로 만든다는 레벤슨의 철학입니다. 그는 “안전은 항상 나중에 일어나는 일이었지, 제품에 내장할 수 있는 것이 아니었다”고 말합니다. 하지만 문바운스 고객들은 이 기술을 활용하여 안전을 제품의 차별점으로 삼고, 제품 스토리의 일부로 만들어내는 혁신적인 방법을 찾고 있다고 하니 놀랍습니다. 실제로 데이팅 플랫폼 틴더(Tinder)의 신뢰 및 안전 책임자는 이러한 LLM 기반 서비스 덕분에 탐지 정확도가 무려 10배나 향상되었다고 밝혔습니다. 이는 실시간, 객관적인 안전 장치가 이제 AI 애플리케이션의 핵심 인프라가 될 것임을 강력하게 시사합니다. 개인적으로는, 과거에는 ‘손실’로 여겨졌던 안전 투자가 이제는 ‘경쟁력’으로 인식되는 패러다임의 전환이라고 생각합니다.
단순한 차단을 넘어, ‘적극적 지원’으로 나아가다
문바운스의 기술이 정말 흥미로운 것은 여기서 끝이 아닙니다. 레벤슨과 그의 전 애플 동료인 애쉬 바르드와즈(Ash Bhardwaj)가 이끄는 문바운스 팀은 ‘반복적 조향(iterative steering)‘이라는 새로운 기능을 개발하고 있습니다. 이는 2024년 14세 플로리다 소년이 캐릭터 AI 챗봇에 집착하다가 자살한 충격적인 사건에 대한 대응으로 시작되었습니다.
기존의 안전 시스템은 유해한 주제가 감지되면 단순히 ‘차단’이라는 무뚝뚝한 거부로 이어졌습니다. 하지만 ‘반복적 조향’은 대화를 중간에 가로채고, 실시간으로 프롬프트를 수정하여 챗봇이 더욱 적극적이고 지지적인 반응을 보이도록 유도합니다. 레벤슨은 “사용자의 프롬프트를 수정하여 챗봇이 단순히 공감하는 청취자가 아니라, 그러한 상황에서 도움이 되는 청취자가 되도록 강제할 수 있기를 바란다”고 말했습니다.
업계 흐름을 보면, 이러한 선제적이고 ‘치료적인’ 접근 방식은 AI 상호작용의 미래에 매우 중요한 역할을 할 가능성이 높습니다. 단순히 유해 콘텐츠를 막는 것을 넘어, 사용자가 위험한 상황에 처했을 때 AI가 건설적인 방향으로 대화를 이끌어가는 능력은 AI의 사회적 책임과 윤리적 활용에 대한 우리의 기대를 한 차원 높이는 일입니다. 사실 이건 단순한 기술적 진보를 넘어, AI가 인간의 복지에 적극적으로 기여할 수 있는 잠재력을 보여주는 중요한 이정표라고 생각합니다. AI가 사람을 해치는 도구가 아니라, 사람을 돕는 ‘동반자’로서의 역할을 진정으로 수행할 수 있게 하는 핵심 기술이 될 것이라는 확신이 듭니다.
레벤슨은 자신의 퇴직 전략에 메타와 같은 거대 기업에 의한 인수가 포함되는지에 대한 질문에, 문바운스가 옛 직장인 메타의 스택에 얼마나 잘 들어맞는지 인지하고 있다고 답했습니다. 하지만 한편으로는 “투자자들이 나를 죽이려 들겠지만, 누군가가 우리를 사서 이 기술을 제한하는 것을 정말 싫어할 것”이라고 덧붙였습니다. “이건 이제 우리 것이니, 다른 누구도 혜택을 볼 수 없어”라는 식의 독점은 지양하고 싶다는 그의 발언에서, 기술이 더 큰 선을 위해 폭넓게 활용되기를 바라는 진정성이 엿보입니다.
문바운스의 등장은 AI가 만들어내는 예측 불가능한 콘텐츠 홍수 속에서 우리가 나아가야 할 방향을 명확하게 제시합니다. 단순히 AI의 발전을 외치기보다, 그 발전이 인간에게 안전하고 유익한 방향으로 나아가도록 하는 ‘안전 밸브’이자 ‘지침서’로서의 역할을 하는 문바운스의 행보를 앞으로도 면밀히 지켜봐야 할 것입니다. AI 시대의 콘텐츠 전쟁은 이제 막 시작되었지만, 문바운스와 같은 선구자들이 있기에 우리는 조금 더 낙관적인 미래를 기대해 볼 수 있지 않을까요?
출처
- 원문 제목: The Facebook insider building content moderation for the AI era
- 출처: AI News & Artificial Intelligence | TechCrunch
- 원문 기사 보러가기
