전쟁을 멈춘 AI의 섬뜩한 환각: 군사 시스템의 AI는 양날의 검인가?
Published Sep 19, 2026
“서비스 요원들이 LLM(대규모 언어 모델)에 내재된 불확실성을 이해하는 것이 중요합니다.” GovAI의 연구원이자 미 육군 장교 출신인 제이크 스텍클러(Jake Steckler)는 테크크런치에 보낸 서면 답변에서 이렇게 경고했습니다. 이 발언은 단순한 조언을 넘어, 인공지능이 우리 사회, 특히 생명이 오가는 군사 분야에 깊숙이 침투하면서 발생하는 근본적인 딜레마를 정확히 짚어내고 있습니다. 실제로 지난봄, 미국 국방부는 이러한 불확실성이 초래할 수 있는 아찔한 상황을 직접 경험할 뻔했습니다. 전투기가 이미 출격 대기 중이던 상황에서, 한 중국 선박에 대한 무장 작전을 유도했던 정보가 사실은 AI 챗봇에 의해 ‘환각’된 것이었음이 뒤늦게 밝혀진 것입니다. CNN 보도에 따르면, 이 작전은 마지막 순간에 취소되어 잠재적인 미중 충돌이라는 파국을 겨우 면할 수 있었습니다.
이 사건은 인공지능이 가져다주는 혁신적인 잠재력 이면에 얼마나 치명적인 위험이 도사리고 있는지, 그리고 그 위험이 고스란히 군사적 의사결정 과정에 스며들었을 때 어떤 결과를 초래할 수 있는지를 소름 끼치도록 명확하게 보여줍니다. 군사 분야에서 AI는 신속성과 효율성을 극대화하는 도구로 각광받지만, 그 이면에는 인간의 생명과 국가 안보를 위협할 수 있는 오류의 그림자가 짙게 드리워져 있는 것이죠. 우리는 이 사건을 통해 AI의 빛과 그림자, 즉 군사적 우위를 제공하는 강력한 도구와 통제 불능의 재앙을 초래할 수 있는 잠재적 위험 사이의 아슬아슬한 줄타기를 목격하고 있습니다.
AI의 양면성: 신속한 결정 vs. 치명적인 오류
이번 ‘아찔한 순간(near-miss)‘은 인공지능이 어떻게 잘못된 정보로 군사 작전을 유도할 수 있는지를 극명하게 보여주는 사례입니다. 당시 미 정보당국은 이란과의 전쟁이 진행되던 민감한 시기에, 중국 선박이 핵무기 프로그램 부품을 운반하고 있다는 정보 보고서를 입수했습니다. 이 보고서는 즉각적으로 군 지휘 채널을 통해 광범위하게 공유되었고, 실제 무력 사용 직전까지 상황을 몰고 갔습니다. 솔직히 말해서, 이 모든 사태의 발단이 결국은 AI 챗봇의 ‘환각(hallucination)‘이었다는 사실은 충격 그 자체입니다.
사건의 경위를 좀 더 자세히 들여다보면, 미 특수작전사령부의 한 분석가가 AI 챗봇을 사용하여 공개된 정보(open-source data)와 기밀 신호 정보(classified signals intelligence)를 종합하는 과정에서 문제가 발생했습니다. 챗봇은 선박의 화물 명세를 잘못 식별했고, 이 오류는 핵무기 부품 운반이라는 치명적인 오정보로 이어졌습니다. 더욱이 해당 분석가는 이 잘못된 결과를 다시 AI 챗봇에 넣어 공식 문서처럼 보이는 보고서 형식으로 작성했고, 이 보고서는 아무런 의심 없이 상위 지휘 계통으로 올라갔던 것입니다. 이 부분에서 주목할 점은, AI가 단순히 정보를 잘못 파악했을 뿐 아니라, 그 오류를 ‘공식적인 형태’로 포장하여 유통시키는 데까지 일조했다는 점입니다. 이는 AI가 정보의 원천일 뿐 아니라, 정보의 신뢰도를 가공하고 증폭시키는 도구가 될 수 있음을 시사합니다.
펜타곤은 AI를 “킬 체인(kill chain)“의 속도를 높여 지휘관들이 적시에 대응할 수 있도록 하는 ‘상당한 이점’으로 설명해왔습니다. 즉, 감지에서부터 표적 지정, 교전 및 평가에 이르는 일련의 과정을 AI를 통해 비약적으로 단축하여 적에 대한 우위를 확보하려는 것이죠. 하지만 이번 사건은 바로 이 ‘속도’라는 AI의 매력적인 속성이 역설적으로 치명적인 결과를 낳을 수 있음을 보여줍니다. 충분한 인간의 감독 없이 빠른 의사결정만을 추구하다 보면, AI의 환각이 군사 시스템의 혈관을 타고 빠르게 퍼져나가 돌이킬 수 없는 재앙을 초래할 수 있다는 점은 분명한 경고 메시지입니다. 개인적으로는 이러한 속도전의 논리가 AI의 본질적인 한계, 즉 불확실성과 오류 가능성을 간과하게 만드는 주범이라고 생각합니다.
군사적 우위 경쟁, 그리고 신뢰의 역설
미국 군은 중국과의 경쟁 우위를 유지하기 위해 AI 통합에 박차를 가하고 있습니다. 이는 단순히 기술적인 진보를 넘어, 미래 전쟁의 양상을 결정할 전략적 패권 다툼의 일환으로 이해됩니다. 그러나 이번 사건은 이러한 ‘AI 통합 속도전’이 가져올 수 있는 부작용과 심각한 위험을 여실히 드러냈습니다. 스텍클러 연구원의 지적처럼, 특히 표적 설정, 정보 분석 또는 작전 계획과 같이 무력 사용으로 이어질 수 있는 결정에서는 LLM에 내재된 불확실성을 이해하는 것이 필수적입니다. 그의 말처럼, 이러한 결정에는 ‘생사가 걸린 결과’가 따르기 때문입니다.
그럼에도 불구하고 스텍클러는 이번 사건이 AI를 피할 이유가 아니라, 오히려 더 많은 안전장치를 추가해야 한다는 요구로 작용해야 한다고 강조합니다. “이러한 도구들은 올바른 맥락과 적절한 안전장치가 마련될 때 유용할 수 있습니다.” 그의 언급은 AI 기술의 잠재적 가치를 인정하면서도, 그 활용에 있어 신중한 접근과 철저한 대비가 선행되어야 함을 역설합니다. 사실 이건 비단 군사 분야뿐만 아니라, 자율주행, 의료 진단 등 인간의 생명과 직결되는 모든 AI 적용 분야에 동일하게 적용될 수 있는 원칙이라고 할 수 있습니다.
업계 흐름을 보면, AI 기술이 빠르게 발전하고 있지만, 그에 발맞춰 안전성 및 신뢰성 확보를 위한 노력은 다소 뒤처지고 있는 것이 현실입니다. 스텍클러의 또 다른 경고는 이러한 흐름에 일침을 가합니다. “다른 모든 것보다 채택 속도를 우선시하는 것은 서비스 요원들이 이러한 시스템에 대한 신뢰를 잃게 만드는 사건으로 이어질 가능성이 높으며, 이는 궁극적으로 채택 속도를 늦출 뿐입니다.” 이 발언은 굉장히 중요한 통찰을 담고 있습니다. 단기적인 목표, 즉 빠른 AI 도입만이 능사라는 생각은 장기적으로 AI 시스템에 대한 불신을 심화시키고, 결국 기술 수용 자체를 저해할 수 있다는 역설을 지적하는 것이죠. 신뢰는 AI 기술이 성공적으로 정착하는 데 있어 그 어떤 기능적 우위보다도 강력한 동력이 될 것입니다.
결론적으로, 이번 미 군사 작전의 AI 환각 사건은 첨단 기술이 가져다줄 수 있는 혁신과 함께 우리가 반드시 감당해야 할 위험을 명확히 보여줍니다. AI는 분명 막대한 잠재력을 지닌 도구이지만, 그 잠재력을 안전하고 윤리적으로 발휘하기 위해서는 기술 개발 속도만큼이나 철저한 검증, 투명성, 그리고 인간의 책임 있는 감독이 필수적입니다. AI 시대의 군사 전략은 단순히 기술적 우위를 확보하는 것을 넘어, AI가 일으킬 수 있는 치명적인 오류를 예측하고 방지하며, 인간의 생명과 평화를 지키는 데 최우선을 두는 방향으로 진화해야 할 것입니다. 그렇지 않다면, AI는 전쟁을 막는 도구가 아니라, 오히려 예측 불가능한 갈등을 촉발하는 원인이 될 수도 있음을 기억해야 합니다.
출처
- 원문 제목: AI hallucination nearly triggers US military operation
- 출처: AI News & Artificial Intelligence | TechCrunch
- 원문 기사 보러가기
