오픈소스 AI, 경계를 넘다: 안전은 과연 따라올 수 있을까?
Published Aug 5, 2026
“역량의 최전선이 곧 위험의 최전선은 아닙니다. 따라서 우리는 위험을 제대로 평가하기 위해 완화 조치의 상태도 반드시 고려해야 합니다.”
AI 안전 비영리 단체 SaferAI의 헨리 파파다토스 전무이사는 테크크런치와의 인터뷰에서 이렇게 말했습니다. 그의 발언은 현재 AI 업계가 직면한 가장 뜨거운 논쟁, 즉 ‘강력한 AI 시스템의 개발 속도와 그에 상응하는 안전 조치의 간극’을 정확히 짚어냅니다. 특히 오픈소스 AI 모델이 빠르게 최첨단 모델들의 역량을 추격하고 있는 상황에서, 이 발언은 단순한 경고를 넘어선 현실적인 위협에 대한 통찰로 다가옵니다.
오픈소스 AI, 경계에 서다
최근 발표된 SaferAI 보고서는 충격적인 내용을 담고 있습니다. 중국 Z.ai의 오픈소스 AI 모델인 GLM-5.2가 불과 몇 달 만에 OpenAI의 GPT-5.5나 Anthropic의 Claude Opus 4.7과 같은 선두 모델들의 사이버 및 생물학적 역량에 거의 근접했다는 것입니다. 성능 면에서는 놀라운 발전이지만, 문제는 그 이면에 숨겨진 안전성입니다. SaferAI의 평가에 따르면, GLM-5.2는 공격적인 사이버 작업이나 이중 용도 생물학 작업 요청에 대해 단 한 번도 거부하지 않았다고 합니다. 이쯤 되면 ‘도대체 무슨 일이 벌어지고 있는 걸까?’ 하는 의문이 절로 들지 않나요?
비교해보면 그 심각성이 더욱 두드러집니다. Claude Opus 4.7은 CyberGym이라는 사이버보안 역량 평가 벤치마크에서 ‘너무 일관되게 거부’하여 SaferAI가 테스트를 완료할 수 없을 정도였습니다. 이와 대조적으로 GLM-5.2는 어떤 종류의 위험한 요청에도 철저히 응한 셈입니다. 이는 마치 엄청난 잠재력을 가진 아이가 아무런 제약 없이 위험한 도구들을 다루려 하는 모습과 같습니다. 사실 이건 오랫동안 비판자들이 경고해온 부분이기도 합니다. 오픈소스 AI 모델은 잠재적인 공격자들의 손에 고성능 AI를 쥐여줄 수 있으며, 일단 가중치(weights)를 다운로드하면 이 기술이 어떻게 사용될지 통제할 방법이 없다는 것이죠.
통제 불능의 그림자: 오픈소스 모델의 위험성
그렇다면 왜 오픈소스 모델은 통제가 더 어려운 걸까요? OpenAI나 Anthropic 같은 선두 AI 개발사들은 일반적으로 분류기, 거부 훈련, API 수준의 제어 같은 안전 장치를 통해 위험한 사이버 및 생물학적 지원을 제한하려 합니다. 물론 이런 조치들도 완벽하지는 않습니다. Far.ai와 같은 AI 안전 비영리 단체는 xAI의 Grok 4.5나 Google DeepMind의 Gemini 3.1 Pro와 같은 최첨단 모델에서도 수백 가지의 **보편적 탈옥(universal jailbreaks)**이 발견되었다고 보고했습니다. 역할극, 권위 사칭, 가짜 대화 기록, 후속 프롬프트 등 여러 조작 기술을 결합하면 모델의 방어 체계를 우회할 수 있다는 것이 밝혀진 셈이죠.
하지만 이런 안전 장치들조차 오픈소스 모델에는 전혀 통하지 않습니다. 오픈소스 모델은 어떤 인프라에서도, 어떤 안전 장치(혹은 아예 없는 상태)로든 실행되도록 설계되어 있기 때문입니다. Z.ai가 자사 API에는 안전 조치를 적용할 수 있다 하더라도, 일단 사용자가 가중치를 자신의 하드웨어에 내려받아 실행하는 순간, 모든 보호 장치는 무력화되거나 심지어 사용자에 의해 제거, 수정될 수 있습니다. 솔직히 말해서, 이건 마치 잠금장치 없는 문을 만들고 나서 ‘도둑이 안 들어오길 바란다’고 말하는 것과 다름없습니다.
SaferAI의 파파다토스 전무이사는 “좋은 역량, 즉 안전한 역량은 누구에게나 접근 가능해야 하며, 우리는 나쁜 역량을 제거하려고 노력해야 한다. 심지어 오픈소스 방식에서도 말이다”라고 강조했습니다. 이에 대한 한 가지 해결책으로 그는 **‘사전 훈련 데이터 필터링(pre-training data filtering)‘**을 언급했습니다. AI 기업이 훈련 데이터에서 공격적인 사이버 보안 정보를 제거하고, 큐레이션된 데이터셋으로 모델을 훈련시키는 방식이죠. 일부 연구에서는 이것이 모델의 전반적인 성능을 해치지 않으면서도 위험한 생물학적 지식을 줄일 수 있음을 시사합니다.
하지만 사이버 보안의 경우, 데이터 필터링은 훨씬 비실용적입니다. 코딩에 능숙하면서도 해킹에는 능숙하지 않은 범용 모델을 훈련시키는 것은 매우 어렵습니다. 코딩이 AI의 가장 큰 수익 창출원이 된 만큼, 개발자들은 오용을 제한할 방법을 찾으면서도 이 역량을 계속 향상시켜야 하는 압력에 직면하고 있습니다. 개인적으로는 이 부분이 AI 안전 연구의 가장 큰 난제 중 하나라고 생각합니다. AI가 가진 ‘양날의 검’과 같은 속성을 어떻게 제어할 것인가에 대한 근본적인 질문이 담겨 있기 때문이죠.
중국의 시선: AI 통제와 책임의 무게
한편, 중국 지도자들도 첨단 AI의 위험성을 점점 인지하고 있습니다. 지난달 세계 AI 컨퍼런스에서 시진핑 주석은 오픈소스 모델의 중요성을 강조하면서도, AI가 엄격한 인간 통제하에 있는 도구여야 한다고 역설했습니다. 그러나 스탠포드 사이버 정책 센터에서 중국 AI 정책을 연구하는 그레이엄 웹스터는 중국이 AI 규제를 강력하게 시행하고 있지만, 그 초점은 역사적으로 정치적으로 민감한 콘텐츠, 허위 정보, 사회 안정에 맞춰져 있었지, 공격적인 사이버 역량이나 생물학적 오용과 같은 치명적인 AI 위험에는 덜 집중되어 있다고 지적합니다.
웹스터는 “미국 AI 사상가들은 일반적으로 이러한 실존적이고 치명적인 생각에 더 우려를 표하는 반면, 중국 커뮤니티는 그렇지 않다”고 말하며, 많은 중국 정책 연구원들이 “진정으로 새로운 최전선 위험이 발생한다면, 미국 기업들이 먼저 직면할 가능성이 높다”고 믿는다고 덧붙였습니다. 이 부분에서 주목할 점은 양국 간의 위험 인식 차이입니다. 중국 시스템은 **‘중국 내에서 이러한 기술의 사용을 통제할 수 있다’**는 자신감을 가지고 있습니다. 중국에서 온라인 활동은 실명으로 이루어지며, 기업과 사용자 모두 책임 추궁이 가능하기 때문입니다. 웹스터는 모델 제공자가 특정 정치적 주제에 대한 참여를 거부하는 데 사용하는 메커니즘이 잠재적으로 공격적인 사이버 공격을 거부하거나 유해한 생물 공학적 결과를 제공하지 않도록 조정될 수 있다고 보기도 했습니다.
사실 이런 접근 방식은 중국 사회의 특성과 AI 기술의 융합을 보여주는 흥미로운 지점입니다. 기술적 제약보다 사회적 통제, 그리고 책임 소재를 명확히 하는 방식으로 AI의 위험을 관리하려는 시도라고 볼 수 있습니다. 하지만 전 세계적으로 배포되는 오픈소스 모델의 특성을 고려할 때, 한 국가의 내부 통제 메커니즘이 국경을 넘어선 위험에 얼마나 효과적일지는 여전히 의문으로 남습니다. 업계 흐름을 보면, 오픈소스 모델의 확산은 필연적이며, 이에 대한 국제적인 협력과 통일된 안전 가이드라인 마련이 시급하다고 생각합니다.
이번 SaferAI 보고서는 오픈소스 AI가 가져올 혁신만큼이나 엄중한 책임과 위험을 다시 한번 상기시켜 줍니다. 과연 인류는 이 강력한 기술의 속도에 맞춰 안전이라는 브레이크를 제때 걸 수 있을까요? 아니면 멈출 수 없는 기차처럼 위험의 최전선으로 질주하게 될까요? 이 질문에 대한 답을 찾는 것이 바로 지금 우리 모두의 과제일 것입니다.
출처
- 원문 제목: Open-weight AI models are catching up to the frontier. The safety gap remains.
- 출처: AI News & Artificial Intelligence | TechCrunch
- 원문 기사 보러가기
