기업들이 인공지능(AI)을 활용해 미래 비전을 제시하려는 지금, 그 비전이 **AI 스스로의 '환각(Hallucination)'**으로 인해 무너질 수 있다는 충격적인 소식이 들려왔습니다. 당신이 전문가의 보고서를 기반으로 AI 도입을 신중하게 검토하고 있었다면, 이번 소식은 마치 발밑이 흔들리는 듯한 불안감을 안겨줄 것입니다.

전문가마저 속인 AI의 그림자: KPMG 보고서 철회 사태의 전말

지난 10월, 세계적인 전문 서비스 기업 KPMG가 발행한 “에이전틱 AI 시대의 탁월함 재정의(Redefining excellence in the age of agentic AI)“라는 제목의 보고서가 전격 철회되는 초유의 사태가 발생했습니다. 이 보고서는 미래 AI 기술, 특히 스스로 판단하고 행동하는 ‘에이전틱 AI’의 가능성을 논하며 여러 기업의 AI 활용 사례를 소개한 것으로 알려졌습니다. 그런데 문제는, 보고서에 언급된 여러 주요 기관들이 “우리의 AI 활용 방식에 대한 보고서의 주장은 사실이 아니거나 오해의 소지가 있다”고 직접 반박하면서 시작됐습니다.

구체적으로 스위스의 주요 은행인 UBS, 영국의 국영 의료 서비스인 NHS(National Health Service), 스위스 연방 철도(Swiss Federal Railways), 그리고 런던 교통국(Transport for London) 등 이름만 들어도 알 만한 대규모 조직들이 KPMG의 주장이 틀렸음을 지적한 것입니다. 단순한 오타나 데이터 오류가 아니었습니다. 이들 조직은 보고서 내용이 자사 AI 사용 실태와 전혀 다르거나 크게 왜곡되었다고 밝히며, 그 배경에 대한 의문을 증폭시켰습니다.

결정적인 단서는 리서치 그룹 GPTZero가 제공했습니다. GPTZero는 KPMG 보고서의 수많은 부정확성을 확인한 후, 그 원인이 바로 **AI 환각(AI hallucination)**에 있다고 지적했습니다. AI 환각이란, 인공지능이 사실이 아닌 내용을 마치 사실인 것처럼 그럴듯하게 꾸며내거나, 실제 존재하지 않는 정보를 만들어내는 현상을 말합니다. 즉, KPMG가 AI에 대한 보고서를 작성하는 데 AI의 도움을 받았다가, 그 AI가 스스로 환각을 일으켜 부정확한 정보를 생산했다는 아이러니한 상황이 펼쳐진 것입니다.

KPMG 대변인은 이 문제에 대해 “콘텐츠를 검증하고 독립적인 출처를 확인하기 위한 인간 감독을 포함하여, 우리 직원들이 AI의 책임 있는 사용에 대한 가이드라인을 따르기를 기대한다”고 밝히며, 현재 보고서를 웹사이트에서 내리고 자체 조사를 진행 중이라고 설명했습니다. 이 사태는 단순히 한 기업의 실수로 치부하기엔 그 파급력과 시사하는 바가 너무나 큽니다.

‘AI가 AI를 말하다’가 불러온 역설적인 결과와 그 심각성

이 사건이 더욱 충격적인 이유는 AI 기술의 선봉에 서야 할 전문 서비스 기업에서 AI의 근본적인 한계에 발목을 잡혔다는 점입니다. 어쩌면 가장 역설적인 지점은, AI의 미래와 그 활용법을 제시해야 할 보고서가 AI 스스로의 불완전성 때문에 철회되었다는 사실 그 자체입니다. 마치 의사가 자신의 병을 고치지 못하는 상황과 같달까요?

이 부분에서 주목할 점은, 이러한 문제가 KPMG만의 고립된 사례가 아니라는 것입니다. 불과 지난달에도 또 다른 빅4 회계법인인 EY가 충성도 보상 프로그램에 대한 보고서를 철회했는데, 당시에도 위조된 각주와 AI 환각이 문제의 원인으로 지목되었습니다. 이는 AI 기술이 특정 기업에만 국한된 문제가 아니라, 광범위한 산업과 기업들이 직면할 수 있는 공통된 도전 과제임을 명백히 보여줍니다.

전문 서비스 기업에게 신뢰는 그들의 가장 큰 자산입니다. 고객들은 이들이 제공하는 통찰력과 전문 지식을 믿고 중요한 결정을 내립니다. 그런데 그 핵심 자산이 AI의 환각이라는 보이지 않는 손에 의해 훼손될 수 있다는 사실은 업계 전체에 엄청난 경종을 울리는 일입니다. 보고서를 읽은 기업들이 자사의 AI 전략에 대한 정보를 잘못 얻었을 가능성은 물론, KPMG 자체의 명성에도 적지 않은 타격을 줄 것입니다.

특히, KPMG 대변인이 강조한 “인간 감독(Human Oversight)“의 중요성은 단순히 구두선에 그쳐서는 안 될 핵심 원칙입니다. 가이드라인이 아무리 잘 마련되어 있다 한들, 실제 작업 과정에서 제대로 이행되지 않으면 무용지물입니다. AI가 생성한 내용에 대한 꼼꼼한 검증과 팩트 체크, 그리고 독립적인 소스 확인 과정이 얼마나 철저하게 이루어졌는지 의문이 남는 대목입니다. 바쁜 일정과 효율성을 좇는 과정에서 이러한 필수적인 검증 단계가 간과되었을 가능성도 배제할 수 없습니다.

우리는 이 사태에서 무엇을 배워야 할까? AI 시대의 새로운 책임감

이번 KPMG 사태는 AI 시대를 살아가는 우리 모두에게 매우 중요한 교훈을 던져줍니다. AI는 분명 강력하고 혁신적인 도구이지만, 그것을 맹신하거나 무비판적으로 수용해서는 절대 안 된다는 경고등을 밝힌 것입니다.

개인적으로는, 이번 사건이 AI 기술의 급속한 발전 속도에 맞춰 우리가 반드시 견지해야 할 ‘책임감 있는 AI’ 활용 원칙을 다시 한번 상기시키는 결정적인 계기가 될 것이라고 생각합니다. 특히, 기업들이 AI 도입을 서두르면서 효율성과 속도에만 집중할 경우 발생할 수 있는 치명적인 위험을 명확하게 보여주었다고 봅니다. AI가 아무리 똑똑해 보여도, 결국 인간의 판단과 검증이 최종 방어선이라는 사실을 절대 잊어서는 안 됩니다.

업계 흐름을 보면, 앞으로 기업들은 AI 기술 도입 시 내부 가이드라인을 더욱 강화하고, AI가 생성한 정보에 대한 독립적인 감사(auditing) 및 검증 서비스에 대한 수요가 급증할 가능성이 높습니다. 또한, AI 기술 기업들 역시 환각 현상을 줄이기 위한 기술적 개선뿐만 아니라, 사용자가 AI의 한계를 명확히 인지하고 책임감 있게 활용할 수 있도록 교육하고 경고하는 역할도 더욱 중요해질 것입니다.

일반 사용자들도 마찬가지입니다. 이제는 AI가 생성한 정보에 대해 ‘이것이 진실일까?‘라는 비판적인 질문을 던지는 습관을 들여야 합니다. 정보의 출처를 확인하고, 교차 검증을 시도하는 기본적인 원칙들이 AI 시대에는 더욱 중요해졌습니다.

• AI는 도구일 뿐, 맹신은 금물: AI는 인간을 돕는 보조 도구이지, 인간의 비판적 사고와 검증 과정을 대체할 수 없습니다.
• 인간 감독의 중요성 재확인: AI 시스템에 대한 인간의 지속적인 모니터링, 검토, 그리고 최종 승인 과정은 필수 불가결합니다.
• 팩트 체크와 검증 습관화: AI가 제시하는 모든 정보에 대해 ‘이것이 사실인가?‘라는 질문을 던지고, 다양한 출처를 통해 검증하는 습관을 들여야 합니다.
• 투명성 요구: AI가 정보를 생성하는 방식과 그 한계에 대한 투명성을 더욱 요구해야 합니다.

이번 KPMG 보고서 철회 사태는 AI 기술의 진보와 더불어 우리가 직면하게 될 새로운 도전 과제들을 선명하게 보여줍니다. AI를 둘러싼 환상에서 벗어나, 현실적인 시각과 책임감 있는 자세로 기술을 발전시키고 활용해 나갈 때 비로소 우리는 AI가 가져올 진정한 혁신을 경험할 수 있을 것입니다.

---

출처

• 원문 제목: KPMG pulls report on AI usage due to apparent hallucinations
• 출처: AI News & Artificial Intelligence | TechCrunch
• 원문 기사 보러가기