AI 가드레일이 사이버 보안 연구자들의 발목을 잡는 역설적 상황

지난 몇 달간, 세계적인 AI 기업들은 자신들의 강력한 모델이 악의적인 해커들에게 악용되는 것을 막기 위해 특별 검증 프로그램과 엄격한 가드레일을 고안해왔습니다. 그런데 이 안전장치들이 아이러니하게도 합법적인 네트워크 수비수들과 공격형 사이버 보안 연구자들의 중요한 업무를 방해하고 있다는 현장의 비명이 터져 나오고 있습니다. 인공지능이 인류의 안전을 위한 강력한 도구로 등장했지만, 그 안전장치가 오히려 안전을 지키는 이들의 손발을 묶는 모순적인 상황이 벌어지고 있는 것이죠.

솔직히 말해서, 이 상황은 AI 시대의 윤리와 거버넌스, 그리고 기술의 이중 사용성(dual-use)에 대한 우리의 이해가 얼마나 부족했는지를 여실히 보여줍니다. AI 기업들은 자신들의 기술이 ‘둠스데이 사이버 머신’처럼 위험하게 비칠 수 있다는 마케팅 전략을 사용하면서, 동시에 그 기술의 접근성을 극도로 제한하려는 이중적인 태도를 보여왔습니다. 예를 들어, Anthropic은 자사의 AI 모델인 Mythos를 ‘신중하게 검증된 사용자에게만 제공할 수 있는 종말론적인 사이버 머신’으로 홍보하며 엄격한 가드레일을 강조했습니다. 실제로 지난 6월, 미국 정부는 Anthropic의 Mythos와 Fable 모델에 대한 수출 통제 제한을 가하기도 했는데, 이는 모델의 가드레일 우회 가능성에 대한 보고서 때문이었다고 알려졌습니다. 비록 Fable 5와 Mythos 5에 대한 수출 통제는 이후 해제되었고, Mythos 5는 현재 검증된 미국 기관에만 재도입되었지만, 이러한 일련의 사건들은 AI 기술의 위험성에 대한 사회적 인식을 형성하는 데 큰 영향을 미쳤습니다.

이러한 접근 제한은 Mythos에만 국한된 이야기가 아닙니다. OpenAI는 ‘사이버를 위한 신뢰할 수 있는 접근(Trusted Access for Cyber)’ 프로그램을, Anthropic은 ‘사이버 검증 프로그램(Cyber Verification Program)‘을 통해 사이버 보안 연구자들이 신청하고 승인받으면 제한이 덜한 모델에 접근할 수 있도록 하고 있습니다. 하지만 이러한 ‘게이트 키핑’ 방식은 범죄자들이 시스템의 알려지지 않은 취약점을 발견하고 악용하기 전에, 이를 먼저 찾아내고 방어 도구를 개발하는 것이 직업인 수많은 보안 연구자들로부터 광범위한 비판을 받고 있습니다.

⚔️ 모순의 칼날: ‘수비수’를 옥죄는 AI 가드레일

잘 알려진 보안 연구자 마크 다우드(Mark Dowd)는 최근 한 사이버 보안 팟캐스트에서 “이러한 무작위적인 대기업들이 보안에서 무엇이 안전하고 안전하지 않은지에 대해 자의적인 결정을 내리는 것이 불편하다”고 지적했습니다. 다우드는 수십 년 동안 ‘제로데이(zero-days)‘—즉, 이전에 알려지지 않은 소프트웨어 결함과 이를 이용하는 공격 도구—를 찾아 소프트웨어 제작사에 보고하여 패치하게 하는 대신, 서구 정부에 판매해 온 인물입니다. 정부는 정보 작전에 유용하게 활용하기 위해 이러한 취약점이 공개되지 않은 상태로 유지될 때 기꺼이 프리미엄을 지불합니다.

물론 다우드는 자신의 작업 방식이 편향성을 만들 수 있음을 인정했지만, 그는 혼자가 아닙니다. 시스템의 약점을 선제적으로 찾아내는 일을 하는 여러 공격형 사이버 보안 전문가들은 테크크런치에 AI 도구를 어떻게 사용하고, 가드레일과 어떻게 씨름하고 있는지 설명했습니다. NCC 그룹의 최고 과학자인 크리스 앤리(Chris Anley)는 AI 모델에게 버그를 악용해보라고 요청하는 것이 그것이 수정할 가치가 있는 실제 취약점인지 확인하는 핵심 단계라고 말합니다. 그러나 가드레일이 모델에게 질문에 대한 답변을 노골적으로 거부하게 만들면, 이 가드레일은 오히려 방어자들에게 해를 끼치는 것이죠.

앤리는 “이것이 바로 공격과 방어, 그리고 가드레일이 부딪히는 지점입니다. 왜냐하면 ‘이 코드를 수정하라’는 프롬프트는 방어를 위한 필수적인 메커니즘인 동시에 코드베이스에서 치명적인 취약점을 찾는 로드맵이 되기 때문입니다. 결국 같은 도구가 공격 도구이자 방어 도구이며, 이 둘은 분리할 수 없습니다”라고 강조했습니다. 그는 이를 ‘망치’에 비유했습니다. “망치 없이는 집을 지을 수 없습니다. 분명 도구이지만, 동시에 불가피하게 무기이기도 합니다.” 이 비유는 정말 탁월하다고 생각합니다. 인공지능 기술의 본질적인 이중성을 이보다 명확하게 설명할 수 있을까요?

앤리와 그의 동료들은 이러한 장애물에 부딪혔을 때, 가드레일이 전혀 없는 오픈 소스 AI 모델로 눈을 돌리기도 합니다. 사실 이건 업계 흐름을 보면 당연한 반응이라고 할 수 있습니다. 상업용 AI 모델의 제약이 너무 크다면, 연구자들은 언제든 더 자유로운 대안을 찾아 나설 수밖에 없을 테니까요.

🛡️ 현장의 목소리: ‘아기 취급’부터 ‘내 버그는 내가!’까지

정부 기관에 알려지지 않은 취약점을 개발, 획득 및 판매하는 유명 회사인 크라우드펜스(Crowdfense)의 최고 기술 책임자 파올로 스타그노(Paolo Stagno)는 다우드의 의견에 동의하며, AI 회사들이 검증 프로그램과 가드레일을 통해 “본질적으로 고객을 돌봄이 필요한 아기처럼 취급한다”고 비판했습니다. 스타그노와 그의 동료들은 최첨단 모델을 사용하긴 하지만, 오직 역공학(reverse engineering) 용도로만 사용한다고 합니다. 그는 민감한 취약점 데이터가 클라우드 기반 모델에 유출되거나 향후 훈련 데이터에 흡수될 위험을 피하기 위해, 취약점 발견이나 익스플로잇 구축에는 AI 사용을 피한다고 밝혔습니다. 이 단계에서는 외부로 데이터를 공유할 필요가 없는 로컬에서 실행되는 오픈 소스 모델을 사용한다는 것이죠. 개인적으로 이 부분에서 주목할 점은 데이터 보안에 대한 경각심입니다. AI 모델을 사용할 때 민감한 정보를 입력하는 것이 얼마나 위험한지, 많은 기업과 연구자들이 간과하는 부분이 아닐까 싶습니다.

반면, 제로데이를 찾고 익스플로잇을 개발하는 보안 연구자 주세페 칼리(Giuseppe Cali)는 가드레일이 자신의 작업을 방해하지 않는다고 말합니다. 그 이유는 그가 공격적인 작업에 AI를 사용하지 않기 때문입니다. 대신, 초기 역공학, 분석하는 코드 이해, 지원 도구 구축에 AI를 활용한다고 합니다. 이를 통해 AI 도구가 프로세스 속도를 높여 취약점 발견에 집중할 수 있게 해준다고 말했습니다. 칼리는 “저는 실제 버그 발견과 무기화는 직접 하고 싶고, 내일 모든 가드레일이 해제되더라도 이 생각은 변하지 않을 것입니다. 저는 제 버그에 대해 질투심이 많고, 모델이 저를 대신해 이 게임을 하는 것을 원치 않습니다”라고 덧붙였습니다. 이 답변에서 저는 일종의 ‘장인 정신’을 느낍니다. AI가 도구로서의 역할을 하되, 핵심적인 창조와 발견의 영역은 인간 고유의 영역으로 남겨두고 싶어 하는 연구자의 자부심이 엿보입니다.

익명을 요구한 한 스마트폰 부품 제조업체 연구원은 자신의 고용주가 Anthropic의 CVP 프로그램에 참여하고 있지 않기 때문에, 가드레일이 너무 엄격하여 AI 도구가 취약점 발견에 거의 쓸모가 없다고 전했습니다. 그는 “보안 관련 작업을 하고 있다는 것을 감지하면, 그냥 멈춰버리고 사용할 수 없게 된다”고 토로했습니다. 얼마나 답답할까요? AI를 도입했지만, 정작 중요한 순간에 무용지물이 된다면 시간과 자원의 낭비에 불과할 겁니다.

사이버 보안 회사 RemoteThreat의 최고 경영자이자 공격형 보안 및 AI 중심 행사 Offensive AI Con의 설립자인 크리스 톰슨(Chris Thompson)은 최첨단 AI 모델을 사용해본 경험상, 가드레일이 일관성이 없고 매일 다르게 작동할 수 있다고 말했습니다. Anthropic과 OpenAI의 검증된 프로그램 내에서도 이러한 불일치가 존재한다는 점은 놀랍습니다. 그는 “실질적인 영향은 작업 대신 모델과 협상하는 데 많은 시간을 보낸다는 것”이라고 비판했습니다. 이 말은 AI가 생산성을 높이는 도구가 아니라, 오히려 새로운 형태의 비효율성을 야기하고 있다는 의미로 해석될 수 있습니다.

출처

• 원문 제목: How AI guardrails are impeding the work of offensive cybersecurity researchers
• 출처: AI News & Artificial Intelligence | TechCrunch
• 원문 기사 보러가기