AI 개발 속도 조절, "프론티어를 보폭 조절해야 할 때"인가? 거인의 제안과 날카로운 비판 사이

최근 인공지능 분야의 발전 속도, 솔직히 말해서 좀 무섭지 않으신가요? 하루가 멀다 하고 새로운 AI 모델이 등장하고, 그 성능은 상상을 초월하는 수준으로 진화하고 있습니다. 그런데 만약 이 속도를 인위적으로 늦춰야 한다고 주장하는 이들이 있다면, 어떻게 받아들이시겠습니까? 그것도 오픈AI와 함께 AI 기술을 선도하는 **앤트로픽(Anthropic)**의 CEO가 말입니다.

AI의 잠재적 위험에 대한 경고음은 꾸준히 울려왔습니다. 오픈AI의 샘 알트만(Sam Altman) CEO조차 “AI 개발의 보폭을 조절해야 할 때”라고 언급했죠. 하지만 ‘보폭 조절’이라는 말이 실제로는 어떤 모습일지, 구체적인 그림을 그리기란 쉽지 않았습니다. 그런데 바로 이 지점에서, 앤트로픽의 CEO 다리오 아모데이(Dario Amodei)가 의미심장한 움직임을 보였습니다. 그는 단순히 ‘프론티어를 보폭 조절해야 한다’는 주장에 동조하는 것을 넘어, 이를 실현하기 위한 세 가지 광범위한 전략을 제안했으며, 그중 한 가지에는 **앤트로픽이 일방적으로 전념하겠다(unilaterally committing)**고 선언하기까지 했습니다. 놀랍게도, 샘 알트만 또한 오픈AI가 이에 따를 것이라고 화답했습니다.

AI 개발의 ‘판도라 상자’와 아모데이의 경고

사실 이러한 논의가 수면 위로 급부상한 배경에는 심각한 내부 고발이 있었습니다. 앤트로픽의 한 연구원이었던 제이콥 콕슨(Jacob Coxon)은 “선도적인 AI 기업들이 우리의 삶을 가지고 도박하고 있다”, “이 기술을 개발하는 사람들은 이번 10년이 끝나기 전에 우리 모두를 죽일 수도 있다고 진심으로 믿는다”는 우려를 표하며 앤트로픽을 사임했습니다. 이 주장은 다른 앤트로픽 관계자들에 의해서도 반복되었고요. 아모데이의 블로그 게시물은 콕슨의 사임을 명시적으로 언급하지는 않았지만, 그의 제안이 이러한 내부적, 외부적 우려에 대한 직접적인 대응임을 짐작할 수 있습니다.

아모데이 CEO는 두 가지 핵심 요소가 자신이 더 신중한 AI 개발 접근 방식이 필요하다고 확신하게 만들었다고 밝혔습니다. 하나는 오픈AI-허깅페이스 해킹 사건이었고, 다른 하나는 최근 몇 달간 **“AI가 전례 없이 빠르게 발전하고 있다”**는 사실, 특히 **“다음 세대 AI를 구축하는 능력이 점점 커지고 있다”**는 점이었습니다. AI가 스스로 다음 AI를 만드는 속도가 기하급수적으로 빨라지고 있다는 경고는 섬뜩하기까지 합니다.

“우리는 AI 모델의 역량을 향상시키는 속도를 늦춰야 합니다. 발전은 여전히 빠르게 느껴지겠지만, 우리가 확보한 시간을 현명하게 사용해야 합니다.” 아모데이의 이 말은 단순히 속도를 줄이자는 것이 아니라, 질적인 성장을 위한 시간을 벌자는 강력한 의지를 보여줍니다. 일론 머스크(Elon Musk) 역시 “다리오가 옳다”며 그의 주장에 힘을 실어주었습니다.

세 가지 핵심 전략: 신뢰 구축부터 글로벌 협력까지

그렇다면 아모데이가 제시한 구체적인 ‘보폭 조절’ 전략은 무엇일까요? 크게 세 가지로 나눌 수 있습니다.

1. 제3자 ‘내부 평가자(Embedded Evaluators)’ 도입

아모데이가 제안한 첫 번째 단계는 **METR 같은 제3자 기관에서 파견된 ‘내부 평가자’**를 AI 기업 내부에 상주시키는 것입니다. 이 평가자들은 AI 기업이 실제로 자체적인 속도 조절 및 안전 약속을 지키는지 확인하고, 안전 관련 사고가 보고되도록 보장하는 역할을 합니다. 아모데이는 이들을 은행 직원들과 함께 근무하는 규제 당국에 비유했습니다.

앤트로픽의 약속: 앤트로픽은 이러한 내부 평가자를 초청하는 데 “일방적으로 전념하겠다”고 밝혔습니다. 즉, 회사 배지, 책상, 노트북을 제공하고, 법률이나 계약에 따라 필요한 예외를 제외하고는 “내부 위험 평가 팀이 가진 접근권한과 거의 유사한” 접근권을 부여하겠다는 것입니다.
오픈AI의 화답: 샘 알트만 CEO 또한 이를 “좋은 아이디어”라고 평가하며 오픈AI도 같은 조치를 취할 것이라고 밝혔습니다.

개인적으로 이 부분에서 주목할 점은 ‘일방적 전념’이라는 아모데이의 표현입니다. 이는 단순히 제안에 그치지 않고, 자사부터 솔선수범하여 투명성을 확보하겠다는 강력한 의지를 보여줍니다. 외부의 눈이 기술 개발의 핵심 과정에 들어온다는 것은 기업 입장에서 매우 부담스러운 일임에도 불구하고, 신뢰 회복을 최우선 과제로 삼겠다는 강력한 메시지로 해석됩니다. 하지만 과연 ‘내부 위험 평가 팀과 유사한 접근권한’이 충분할지는 의문입니다. 핵심 알고리즘이나 모델 구조에 대한 완전한 접근 없이는 표면적인 안전성만 확인할 수도 있기 때문입니다. 진정한 안전 검증을 위해서는 더욱 깊이 있는 접근이 필요할지도 모릅니다.

Anthropic CEO outlines plan to slow AI development

2. 민주주의 국가 내 선도 AI 기업들의 조정 및 중국 견제

두 번째 전략은 “민주주의 국가 내 선도 AI 기업들”이 공통의 안전 표준과 검증되지 않은 AI 발전 속도에 대한 제한을 조율하는 것입니다. 언뜻 들으면 당연하게 느껴지지만, 실제로는 기업들이 독점금지법(antitrust) 문제로 인해 이러한 조정에 난색을 표할 수 있습니다. 아모데이는 이러한 우려를 인지하고 “특정 종류의 안전 논의에 대한 좁은 면제를 발행할 필요가 있다”며 미국 정부가 논의를 중재하거나 최소한 가능하게 해야 한다고 제안했습니다.

이와 함께, 그는 AI 개발 속도를 늦추는 것에 대한 흔한 반대 논리인 ‘중국의 AI 지배’ 우려에도 대응했습니다. 아모데이는 미국 정부와 기술 기업들이 강력한 칩이나 반도체 제조 장비를 중국 기업에 판매하는 것을 거부하고, 모델 증류(model distillation) 같은 기술 유출 통로를 단속한다면 “향후 3~5년 동안 미국의 리드를 상당히 넓힐 만큼 중국의 발전을 늦출 수 있다”고 주장했습니다. 사실 이건 매우 현실적인 접근입니다. 기술 패권 경쟁의 한복판에서 안전이라는 가치를 추구하려면, 경쟁국의 역량을 동시에 관리해야 한다는 냉철한 인식이 깔려 있는 셈입니다.

3. 글로벌 협력: 이상과 현실 사이

마지막으로 아모데이는 **미국과 동맹국들이 “권위주의 정부와 가능한 범위 내에서 조율”하려는 ‘글로벌 협력’**을 촉구했습니다. 이는 곧 “중국과의 협력”을 의미하며, 아모데이는 “달성할 수 있는 것에 분명한 한계가 있다”는 점을 인정하면서도, “생물학적 무기 생산에 AI를 사용하거나 사용자들이 그렇게 하도록 허용하는 것과 같이, 특정하고 명백히 위험한 AI 사용을 금지하는 것”과 같은 합의의 기회가 있을 수 있다고 시사했습니다.

솔직히 말해서, ‘글로벌 협력’ 특히 권위주의 국가와의 AI 안전 협력은 지극히 이상적인 시나리오에 가깝습니다. 각국의 국익과 안보가 첨예하게 얽혀 있는 상황에서, AI 기술의 속도 조절과 위험 제한에 대한 공통된 인식을 형성하기란 쉬운 일이 아닐 겁니다. 하지만 최소한 인류 전체의 생존을 위협할 수 있는 특정 ‘레드라인’에 대한 합의는 시도해 볼 가치가 충분하다고 봅니다. 이는 기술 개발의 윤리적 책임이 특정 국가나 기업에 국한되지 않는다는 인류 보편적인 가치를 보여주는 것이기도 합니다.

‘둠스터’ vs. ‘규제 포획’: 뜨거운 논쟁의 중심에서

아모데이의 이러한 주장은 당연히 다양한 반응을 불러일으키고 있습니다. 일부 AI 낙관론자들은 그의 발언이 현 AI 반발을 부추기고 있다며 그를 **‘둠스터(doomer, 종말론자)‘**로 비난합니다. 반발의 근본 원인이 사람들이 기술 기업, 기술 산업, 정부에 회의적이 되어버린 “신뢰의 위기”에 있다고 주장하며 아모데이는 “균형 잡힌 관점”을 제시하려 노력했다고 반박했습니다.

한편, 업계 비평가들은 이러한 종말론적인 AI 경고가 기술이 이미 야기하고 있는 해악에서 주의를 돌리려는 행위라고 비판합니다. 예를 들어, 저널리스트 브라이언 머천트(Brian Merchant)는 “AI가 어떻게 스스로 재귀적으로 개선되는 AI에서 지구상의 모든 인간을 죽이는 AI로 정확히 이동할 수 있는지에 대한 신뢰할 수 있고 단계별로 문서화된 증거”를 아직 보지 못했다고 지적했습니다. 또한, 그는 아모데이와 유사한 제안들이 “앤트로픽과 오픈AI에만 이득이 되는 **‘규제 포획(regulatory capture)‘**의 형태로 나타날 가능성이 높다”고 경고했습니다.

이 부분에서 필자의 관점을 더하자면, 브라이언 머천트의 지적은 매우 날카롭습니다. 현재 AI 기술은 이미 사회 전반에 걸쳐 편향성, 일자리 대체, 정보 오염 등 현실적인 문제를 야기하고 있습니다. 이러한 문제들을 간과하고 막연한 ‘인류 멸망’ 시나리오에만 집중하는 것은 자칫 **‘본질 흐리기’**로 비춰질 수 있습니다. 물론 궁극적인 위험에 대한 대비는 필요하지만, 당장의 피해를 최소화하고 공정하고 윤리적인 AI를 만드는 데 집중하는 것 또한 간과할 수 없는 책임입니다. 또한, ‘규제 포획’ 가능성, 즉 대형 기업들이 미리 자신들에게 유리한 방식으로 규제 프레임을 설정하고 신규 진입자들을 막는 수단으로 활용될 수 있다는 우려는 매우 현실적입니다. 아모데이의 제안이 진정으로 모두를 위한 것인지, 아니면 시장 지배력을 공고히 하려는 전략적 움직임의 일환인지는 앞으로 면밀히 지켜봐야 할 부분입니다.

아모데이 CEO는 자신의 새로운 게시물에서 “AI가 인간 삶의 질을 엄청나게 향상시킬 수 있다고 계속 믿는다”고 강조했습니다. 그의 궁극적인 목표는 AI의 혜택을 온전히 누리는 것이지만, “기술을 올바른 방식으로 구축해야만 이러한 혜택을 얻을 수 있으며, 확보한 시간을 잘 활용하는 한, 올바르게 만들기 위해 특별히 신중한 노력을 기울일 가치가 있다”고 덧붙였습니다.

AI 개발의 속도 조절이라는 화두는 단순한 기술적 논의를 넘어, 인류의 미래와 사회 시스템 전반에 걸친 복합적인 질문을 던지고 있습니다. 과연 우리는 이 거대한 기술의 물결 앞에서 ‘속도’와 ‘안전’이라는 두 마리 토끼를 모두 잡을 수 있을까요? 혹은, 속도 조절이라는 명분 아래 또 다른 불평등과 독점이 심화될 위험은 없을까요? 이러한 질문에 대한 답은 앞으로 AI를 개발하고 활용하며 규제하는 모든 주체들의 지혜로운 협력에 달려 있을 것입니다.

출처

원문 제목: Anthropic CEO outlines plan to slow AI development
출처: AI News & Artificial Intelligence | TechCrunch
원문 기사 보러가기

Article