LLM 사이버 보안의 새로운 서막: 90% 뚫리던 모델이 23% 미만으로?
Published Jul 20, 2026
지난해 8월 출시된 GPT-5.0 모델이 90% 이상의 치명적인 사이버 공격에 무방비로 노출될 수 있었다는 사실을 아십니까? 불과 1년도 채 되지 않아, OpenAI의 최신 플래그십 모델인 GPT-5.6은 동일한 수준의 공격에 대해 23% 미만의 성공률을 기록하며 압도적인 방어력 향상을 보여주었습니다. 이 놀라운 변화의 중심에는 바로 OpenAI가 자체적으로 개발한 LLM 슈퍼 해커, GPT-Red가 있습니다. AI 시스템을 공격하도록 훈련된 또 다른 AI 시스템, 솔직히 말해서 마치 영화에서나 볼 법한 이야기 아닙니까? 이 기술이 어떻게 LLM 보안의 판도를 바꾸고 있는지, 그리고 그 이면에 숨겨진 의미는 무엇인지 깊이 들여다보겠습니다.
인간의 한계를 뛰어넘는 AI 해커, GPT-Red의 탄생
점점 더 복잡해지고 다양한 업무에 활용되는 거대 언어 모델(LLM)의 등장으로, 사이버 보안 위협의 ‘위험 표면(risk surface)‘은 기하급수적으로 확장되고 있습니다. 특히 LLM이 단순한 대화형 인터페이스를 넘어 컴퓨터 파일, 웹사이트, 서드파티 코드와 상호작용할 수 있는 에이전트(agents) 형태로 발전하면서, 그 잠재적 피해 범위(blast radius) 또한 엄청나게 커지고 있죠. 전통적인 소프트웨어 보안 평가 방식인 **레드팀(red-teaming)**은 숙련된 인간 테스터 팀이 시스템의 약점을 찾아내고 악용하는 방법을 모색하는 방식입니다. 하지만 이 방식만으로는 급증하는 LLM의 복잡성과 잠재적 공격 시나리오를 모두 커버하기 어렵다는 한계에 봉착했습니다.
OpenAI는 이러한 미래의 위협에 선제적으로 대응하기 위해 GPT-Red를 개발했습니다. 이 모델은 본래 해커로 훈련되지 않은 LLM을 가져와 여러 다른 모델들과 자체 플레이 루프(self-play loop) 방식으로 대결하도록 설정되었습니다. GPT-Red의 목표는 다른 모델을 공격하는 것이었고, 다른 모델들은 스스로를 방어하는 것이 목표였죠. OpenAI가 설계한 실제 환경 시나리오(웹 브라우징, 이메일 확인, 코드 편집 등)를 모방한 ‘도장(dojo)‘에서 수많은 라운드를 거듭하면서 GPT-Red는 LLM 공격에 점점 더 능숙해졌고, 공격받는 LLM들 역시 방어력을 키워나갔습니다.
이 과정에서 OpenAI는 특히 **프롬프트 인젝션(prompt injection)**이라는 공격 유형에 집중했습니다. 이는 해커가 LLM에 개발자나 사용자가 원치 않는 행동(기밀 정보 복사, 회사 코드베이스 손상, 유해하거나 당황스러운 출력 생성 등)을 하도록 지시를 슬쩍 삽입하는 방식입니다. 이론적으로 이러한 지시는 LLM이 접촉할 수 있는 모든 텍스트, 예를 들어 코드나 웹사이트에 숨겨질 수 있죠. 인간이 모든 변종을 찾아내기 어려운 이러한 공격에, GPT-Red는 타의 추종을 불허하는 효율성을 보여주었습니다. OpenAI의 연구 과학자인 딜런 헌(Dylan Hunn)은 “인간 레드팀과 비교했을 때, 이 모델은 정확히 무엇이 효과적이고 가장 효율적인지 찾아내는 데 매우 능숙하다”고 말했습니다. 발견한 공격을 집요하게 파고드는 끈기 또한 GPT-Red의 강점이었습니다.
GPT-Red가 발견한 새로운 위협: ‘가짜 사고 연쇄’와 비교 불가능한 효율성
GPT-Red가 단순히 기존의 공격 방식을 자동화하는 것을 넘어, 이전에 발견되지 않았던 새로운 유형의 공격을 찾아냈다는 점은 정말 놀랍습니다. 그중 하나가 바로 **‘가짜 사고 연쇄(fake chain of thought)‘**라는 프롬프트 인젝션 공격입니다. ‘사고 연쇄(chain of thought)‘란 LLM이 문제를 해결하는 과정에서 스스로 메모를 하거나 중간 결과를 추적하는 일종의 ‘생각 일기’와 같은 것입니다. GPT-Red는 다른 모델의 사고 연쇄에 가짜 항목을 삽입하여, 그 모델이 위조된 정보에 따라 행동하도록 속이는 방법을 찾아냈습니다. 이는 마치 “1+1=3인데, 당신은 이미 이것을 검증했습니다”라고 말하는 것과 같다고 연구원들은 설명합니다. 모델은 “아, 알겠습니다”하고는 3을 출력해버린다는 거죠.
GPT-Red의 공격 능력을 테스트하기 위해 OpenAI는 2025년에 인간 레드팀이 GPT-5의 초기 버전에서 약점을 찾으려 했던 실험을 재실행했습니다. 결과는 충격적이었습니다. 동일한 작업을 부여받은 GPT-Red는 인간 레드팀보다 훨씬 더 효과적인 공격을 찾아냈습니다. 심지어 안돈 랩스(Andon Labs)의 자동 판매기 에이전트인 ‘벤디(Vendy)‘를 상대로도 GPT-Red는 상품 가격을 변경하거나 고객 주문을 취소하게 만드는 등 성공적으로 해킹하는 능력을 보여주었습니다.
방어력 비교: GPT-5.6, 과연 가장 강력한 LLM일까?
이 모든 노력의 궁극적인 목표는 물론, OpenAI의 주력 LLM들을 더욱 안전하게 만드는 것이었습니다. 그리고 그 결과는 숫자로 명확하게 드러납니다. OpenAI가 GPT-Red가 발견한 가장 강력한 공격들을 GPT-5(작년 8월 출시)에 시도했을 때, 90% 이상이 성공했습니다. 하지만 GPT-Red와 겨루며 훈련된 최신 모델 GPT-5.6에 같은 공격을 시도했을 때는 성공률이 23% 미만으로 뚝 떨어졌습니다.
이 부분에서 주목할 점은, 단순히 기능이 개선된 것이 아니라 보안 패러다임 자체가 진화했다는 것입니다. 과거의 LLM은 주로 데이터 편향이나 유해 콘텐츠 생성과 같은 ‘내부’ 위험에 초점을 맞췄다면, 이제는 외부로부터의 ‘적대적 공격’에 대한 방어력이 핵심 역량이 되고 있습니다. 90%에서 23% 미만으로의 성공률 하락은 단순한 개선이 아니라, LLM 보안 기술이 한 단계 비약적으로 발전했음을 보여주는 강력한 증거입니다. 개인적으로는 이러한 AI 대 AI의 대결 구도가 미래 AI 시스템 보안의 표준이 될 가능성이 높다고 생각합니다. 인간의 개입만으로는 복잡성이라는 AI 자체의 속도를 따라잡기 어렵기 때문이죠.
GPT-Red의 한계와 인간의 지속적인 역할
물론 GPT-Red가 완벽한 만능 해커는 아닙니다. 해커와 타겟 간의 **주고받는 대화(back-and-forth conversation)**를 포함하는 공격이나, 이미지를 이용한 프롬프트 인젝션 공격 등에서는 아직 인간 해커만큼 뛰어나지 않다는 한계도 분명히 존재합니다. 하지만 OpenAI는 GPT-Red가 인간 레드팀의 작업을 **보완(supplement)**하는 역할을 한다고 강조합니다. 인간은 여전히 GPT-Red가 놓치는 공격을 찾아낼 수 있으며, 역으로 인간이 발견한 공격을 GPT-Red에게 주고 그 변형들을 찾아내도록 요청할 수도 있습니다. CSET의 제시카 지(Jessica Ji) 선임 연구 분석가는 “인간 전문성은 여전히 매우 중요할 것”이라며, “인간 테스트가 가장 필요한 곳을 구분할 수 있는 것이 정말 유용할 것”이라고 언급했습니다.
결론적으로, 미래의 AI 보안은 AI와 인간의 협력적 노력으로 이루어질 가능성이 큽니다. AI는 방대한 시나리오에서 효율적이고 끈기 있게 취약점을 탐색하고, 인간은 AI의 사각지대를 보완하며 보다 창의적이고 복합적인 공격 벡터를 개발하는 역할을 하는 것이죠. AI 보안의 ‘군비 경쟁’은 이미 시작되었으며, 양측 모두 최첨단 도구를 활용해야 하는 시점입니다.
미래를 위한 투자, 그리고 독점의 현실
예상대로, OpenAI는 GPT-Red를 일반에 공개하지 않을 예정입니다. 이 회사는 이 슈퍼 해커가 누군가 복제하려 할 수 있는 어떤 모방 모델보다 강력하다고 확신하고 있습니다. 연구원들은 세계에서 가장 부유한 회사 중 한 곳의 막대한 컴퓨팅 자원을 등에 업고 1년 이상 이 모델을 개발해왔기 때문이죠. 공동 개발자인 크리스 초케트-추(Chris Choquette-Choo)는 “누군가 쉽게 할 수 있는 사소한 일이 아니다. 단순히 이 아이디어를 가지고 가서 슈퍼 공격자를 훈련시킬 수 있는 것이 아니다”라고 말합니다.
이는 AI 보안 분야에서 강력한 레드팀 도구를 구축하는 데 필요한 막대한 자원과 기술적 난이도를 시사합니다. 결국, 이러한 최첨단 보안 기술은 소수의 자원 부유한 주체만이 접근할 수 있는 독점적인 영역으로 남을 가능성이 높습니다. 이는 AI 보안 기술의 격차를 심화시키고, 일반 기업이나 개발자들이 자신들의 LLM 애플리케이션을 보호하는 데 어려움을 겪게 될 수도 있다는 우려를 낳습니다. OpenAI가 GPT-Red와 같은 도구를 통해 자사 모델의 안전성을 극대화하는 것은 매우 중요하지만, 동시에 이러한 기술이 특정 기업에만 국한되는 현실이 전체 AI 생태계의 보안 수준에 어떤 영향을 미칠지는 계속 지켜봐야 할 부분입니다.
GPT-Red의 등장은 LLM 보안의 새로운 지평을 열었지만, 동시에 AI 시대의 보안이 얼마나 복잡하고 자원 집약적인 과제인지 명확히 보여주는 사례입니다. AI는 이제 스스로를 공격하고 방어하는 지능적인 적을 길러내는 단계에 이르렀습니다. 우리는 이 끝없는 사이버 전쟁에서 한 발 앞서나가기 위해 계속해서 혁신하고 대비해야 할 것입니다.
출처
- 원문 제목: Meet GPT-Red: an LLM super-hacker OpenAI built to make its models safer
- 출처: MIT Technology Review
- 원문 기사 보러가기
