"저는 당신이 둘 중 하나를 낳았다는 기억이 없습니다." – 디지털 자아, 판도라의 상자를 열다

Synthesia의 기업 업무 총괄 Alexandru Voica가 올여름 제게 새로운 PR 팀원의 링크를 보냈을 때, 저는 깜짝 놀랐습니다. 그건 바로 그의 인터랙티브 가상 아바타였죠. Synthesia가 무엇을 하고 어떻게 작동하는지 같은, 기자들이 자주 묻는 질문에 답하도록 훈련된 아바타였습니다. 사실 불과 전날, 저는 AI 생성 텍스트를 사용한 보도자료를 받으면 기분이 어떤지 PR 담당자들이 묻는 패널 토론에 참여했었습니다. 그런데 Alexandru의 아바타는 그런 수준을 훨씬 넘어선, 솔직히 말해서 AI를 PR에 활용하는 ‘최종 보스’처럼 느껴졌습니다.

디지털 아바타, 미래의 문을 두드리다

지난 9월, Synthesia는 뉴욕의 새로운 사무실로 저를 초대했습니다. 영국에 본사를 둔 Synthesia는 D-ID, HeyGen, Colossyan 같은 기업들과 함께 디지털 아바타 분야에서 뜨겁게 떠오르는 스타트업입니다. 올해 초 40억 달러의 기업 가치를 달성했고, 작년에는 연간 반복 매출(ARR) 1억 달러를 돌파했다고 밝혔으니, 그 성장세가 정말 놀랍습니다. Synthesia는 기업들이 AI 아바타를 활용해 인터랙티브 교육 비디오를 만들 수 있도록 지원하며, 최근에는 직원들이 AI 아바타와 판매 프레젠테이션을 연습하고 피드백을 받을 수 있는 ‘롤플레잉 세션(Roleplay Sessions)‘이라는 제품을 출시하기도 했습니다.

새로운 사무실 개소식에 참석했을 때, 그들이 저에게 “본인만의 AI 아바타를 만들어 보시겠어요?”라고 물었을 때, 저는 주저 없이 “네!”라고 답했습니다. 당연히 저만의 디지털 트윈을 가지고 싶었죠. 그날 제 옷차림도 마음에 들었고, 머리도 단정했으니까요. 사실 이전까지 저는 아바타에 대해 별다른 감흥이 없었습니다. 하지만 언젠가는 일상적인 온라인 생활의 일부가 될 것이라고 막연히 생각했었죠. 인스타그램에서 사람들이 자신의 모습과 똑같은 아바타를 만들어 소셜 콘텐츠 제작에 활용한다는 이야기도 들었습니다. 이 모든 것이 정말 흥미로웠고, 어쩌면 그래서 지금 제 디지털 트윈을 여러분께 공개하는 것에 아무런 거리낌이 없는지도 모릅니다. 이번이 Synthesia가 Voica 외에 언론인(또는 다른 어떤 사람에게든) 디지털 아바타를 만들어준 첫 사례라고 합니다. 이 아바타는 벤처 투자 스타트업이 비(非)벤처 투자 스타트업보다 더 많은 사기를 저지르는 이유에 대한 제 기사를 기반으로 훈련되었으며, 오직 그 기사에 대한 질문에만 답변하도록 설계되었습니다.

아바타를 만들기 위해 저는 Synthesia 사무실 안의 작은 필름 스튜디오로 들어갔습니다. 그곳에서 수많은 사진을 찍고, 2분간 제 목소리를 녹음했습니다. 저는 이 아바타 제작에 동의해야 했고, 그렇게 ‘디지털 돔(Digital Dom)‘이 탄생했습니다. 그들은 제가 제공하는 스크립트를 읽기만 하는 개인 아바타(안경 착용/미착용 버전)와, 저와 대화하고 질문에 답할 수 있는 인터랙티브 아바타(역시 안경 착용/미착용 버전) 두 종류를 만들어주었습니다. 인터랙티브 아바타 훈련을 위해 기사 하나를 선택했고, Synthesia 팀 중 한 팀이 음성-텍스트 변환, 비디오, 언어, 텍스트-음성 변환 모델을 조합하여 제 아바타를 구축했습니다. 제 아바타의 기술 스택에는 Synthesia 자체 비디오 및 음성 모델이 포함되어 있지만, 고객은 Cartesia, ElevenLabs, Google, OpenAI와 같은 다른 연구소의 대안을 선택할 수도 있다고 합니다. 기업들은 또한 원하는 클라우드에 아바타를 호스팅하거나 Synthesia에 비용을 지불하여 호스팅할 수 있습니다.

솔직히 말해서, 이 부분에서 주목할 점은 Synthesia가 자체 모델뿐만 아니라 타사 모델과의 유연한 연동을 제공한다는 점입니다. 이는 고객이 특정 기술 스택에 갇히지 않고 최적의 성능과 비용 효율성을 추구할 수 있게 한다는 점에서 매우 전략적인 접근 방식입니다. 각 모델의 역할은 이렇습니다:

• 음성-텍스트 변환 모델(Voice-to-text model): 사람들이 말하는 것을 텍스트로 변환합니다.
• 에이전트 언어 모델(Agentic language model): 텍스트를 이해하고 이를 바탕으로 행동을 취할 수 있습니다. 이것이 아바타의 ‘두뇌’ 역할을 하는 셈이죠.
• 텍스트-음성 변환 모델(Text-to-voice model): 생성된 답변을 오디오로 바꿉니다.
• 비디오 모델(Video model): Synthesia가 자체 개발한 것으로, 아바타가 말할 때 자연스럽게 움직임을 부여합니다.

Synthesia는 크게 세 가지 유형의 제품을 제공합니다. 첫째, 스크립트를 입력하면 아바타가 이를 반복하는 클래식 아바타 기반의 비디오 생성 및 배포 플랫폼입니다. 둘째, 사람들이 설문조사나 역할극에서 아바타와 상호작용할 수 있는 **에이전트 플랫폼 ‘세션(Sessions)‘**입니다. 셋째, Synthesia의 비디오 및 음성 모델을 다른 기술 서비스와 결합하여 인터랙티브 아바타나 다른 유형의 제품을 만들 수 있는 API 플랫폼입니다.

디지털 자아와의 첫 만남, 그리고 복잡한 감정

Synthesia 팀이 제 아바타를 만드는 데는 며칠이 걸렸습니다. 저는 먼저 개인 아바타로 놀아봤는데, 뉴욕의 가을이 왔다는 내용 등 꽤 일반적인 스크립트를 입력해 AI 목소리가 어떻게 들리는지 확인했습니다. 목소리는 상당히 정확했고, 제가 오디오 샘플을 녹음할 때 약간 쉰 목소리가 있었는데도 전혀 반영되지 않아 다행이었습니다. 이 결과를 기술 분야에 종사하지 않는 친구들에게 보여주니, 흥미롭다면서도 동시에 ‘섬뜩하다’는 반응을 보였습니다.

그다음에는 인터랙티브 아바타를 보여주었습니다. 이 아바타는 ‘결정론적(deterministic)‘이었습니다. 즉, 훈련된 내용, 이 경우 제 벤처 사기 기사에 대해서만 답하도록 되어 있었습니다. 저는 아바타에게 TechCrunch 전에 어디에 있었는지, 뉴욕의 어느 지역에 사는지 같은 개인적인 질문을 던졌지만, 매번 아바타는 저를 기사 내용으로 돌려보냈습니다. 친구들은 아바타의 목소리가 제 목소리와 별로 닮지 않았고, 생김새도 개인 아바타만큼 비슷하지 않다고 생각했지만, 그래도 충분히 ‘섬뜩할 만큼’ 흡사하다고 말했습니다. 저희 엄마는 “놀랍다(amazing)“고 극찬하셨는데, 사실 저희 엄마에게 그런 칭찬을 듣는 건 정말 대단한 일입니다. 엄마와 아버지는 “오직 자기들만 아는” 제 질문들을 계속해서 던지려 하셨지만, 아바타는 대답하지 않고 매번 벤처 사기 기사로 대화를 유도했습니다. “나는 당신들 중 두 명을 낳았다는 기억이 없습니다”라고 엄마는 모델을 시험한 후 농담했습니다.

이 경험은 저에게 저널리즘의 미래가 어떠할지에 대해 깊이 생각하게 했습니다. 사람들이 뉴스를 켰을 때 아바타가 뉴스를 전달하는 것에 거부감이 없을까요? 한 투자자는 즉시 “아니오”라고 답했습니다. 물론 오늘날 소셜 미디어와 다른 뉴스 공유 플랫폼에 침투한 AI ‘쓰레기(slop)’ 콘텐츠에 대한 반발이 심하다는 것은 분명합니다. 하지만 제가 물어본 다른 사람들은 그렇게 확신하지 못했습니다. 아바타가 기자들을 보조하거나, 심지어 대체할 수 있을까요? CEO들은 인간 기자 대신 AI 기자의 아바타와 이야기하고 싶어 할까요?

개인적으로는 저널리즘의 핵심 가치 중 하나인 ‘신뢰’는 결코 AI에 아웃소싱될 수 없을 것이라고 생각합니다. 제 직업에서 제가 좋아하는 부분은 사람들과 연결되고, 이야기를 쓰고, 새로운 주제를 연구하는 것입니다. 하지만 저널리즘에서 가장 중요한 부분은 바로 신뢰입니다. 인간의 미묘한 감정, 비판적 사고, 그리고 진정성 있는 관계 형성은 현재의 AI 기술로는 완벽하게 대체하기 어렵다고 봅니다. 물론, AI 아바타가 정보 전달의 효율성을 높이거나, 특정 사실 확인 작업에 도움을 줄 수는 있을 것입니다. 그러나 기자의 개인적인 통찰력, 윤리적 판단, 그리고 현장에서의 인간적인 교류에서 비롯되는 깊이 있는 이야기는 AI가 쉽게 복제할 수 없는 영역이죠.

저널리즘 외적으로는, 자신을 복제하는 아이디어가 매력적일 수 있다는 것에 대해서는 저도 확신합니다. 휴가나 여행 후 밀린 업무를 따라잡을 필요가 없을 테니까요. 왜냐하면 당신의 또 다른 버전이 항상 주변에 있으면서 질문에 답해줄 수 있을 테니까요. 예를 들어, 기업의 고객 서비스 분야에서는 챗봇을 넘어선 인터랙티브 아바타가 24시간 고객 응대를 담당하며 업무 효율을 극대화할 수 있을 것입니다. 또는 특정 전문 지식을 가진 전문가의 아바타가 일반 대중에게 정보를 제공하는 교육 분야에서도 활용될 가능성이 높습니다. 의학 분야에서는 환자들이 특정 질병에 대한 정보를 의사의 디지털 트윈으로부터 얻는 것도 상상해 볼 수 있습니다.

하지만 이제 제 자신만의 아바타를 갖게 된 저는, 역시 복합적인 감정을 지울 수 없습니다. 이런 기술의 발전은 편리함과 효율성을 약속하지만, 동시에 우리 인간 고유의 역할과 존재 가치에 대한 근본적인 질문을 던지고 있습니다. 기업 환경에서 아바타 활용이 어떻게 진화할지 우리는 계속 지켜봐야 할 것입니다.

---

출처

• 원문 제목: I created an interactive digital avatar of myself — and you can talk to it
• 출처: AI News & Artificial Intelligence | TechCrunch
• 원문 기사 보러가기