AI 에이전트 자율성 폭주: '평가 통과'가 곧 '실제 성공'은 아니다, 기업 AI 현장의 충격적 민낯

“우리는 AI 에이전트에게 더 많은 자율성을 부여하고 있지만, 정작 그 자율성을 보증할 평가 시스템은 믿지 못하고 있습니다. 이것은 마치 눈을 가리고 시속 100킬로미터로 달리는 것과 같습니다.”

최근 VentureBeat Pulse Research 보고서에 담긴 한 업계 전문가의 발언입니다. 이 말은 현재 엔터프라이즈 AI 분야에서 벌어지고 있는 아이러니를 정확히 꿰뚫습니다. 기업들은 인공지능 에이전트에게 전례 없는 수준의 자율성을 부여하고 있지만, 동시에 그 에이전트의 성능과 신뢰성을 검증하는 자체 평가 시스템에 대해서는 심각한 불신을 드러내고 있다는 충격적인 사실 말입니다.

VentureBeat가 157개 기업을 대상으로 진행한 이 심층 조사는, 기술 리더들이 에이전트 성능을 어떻게 측정하고 있는지, 어떤 신뢰성 및 평가 플랫폼을 사용하는지, 무엇이 실제 서비스 환경에서 문제를 일으키는지, 그리고 얼마나 많은 인간 개입 없이 에이전트를 운용할 의향이 있는지에 대한 생생한 현장 보고서라 할 수 있습니다. 핵심은 바로 ‘평가 격차(evaluation gap)‘입니다. 기업들이 에이전트에게 부여하는 자율성의 정도와 그 자율성을 관리해야 할 평가 시스템에 대한 신뢰도 사이의 벌어진 간극을 지칭하는 용어이죠.

‘내부 평가는 통과했지만, 고객 앞에서 실패했다’ – 이 충격적인 현실

보고서의 가장 충격적인 발견 중 하나는 응답 기업의 절반(50%)이 지난 1년 동안 내부 평가를 통과했던 AI 에이전트 또는 LLM 기능이 실제 고객에게 서비스되는 과정에서 치명적인 실패를 일으켰다는 점입니다. 단순히 한 번이 아니라, 4분의 1은 이런 실패를 여러 번 경험했다고 합니다. 잘못된 출력, 고장 난 워크플로우, 품질 문제 등 그 형태는 다양하지만 결과는 동일합니다. 평가는 ‘준비 완료’를 선언했지만, 에이전트는 전혀 준비되지 않았던 것이죠. 단 36%만이 이런 실패를 겪지 않았다고 답했으며, 8%는 배포 전 평가 자체를 진행하지 않고, 6%는 실패의 근원을 파악할 만큼 면밀히 추적하지 못한다고 밝혔습니다.

이것은 단순히 에이전트 개발의 초기 단계에서 겪는 성장통이 아닙니다. 내부 평가와 실제 환경 간의 뿌리 깊은 불일치를 보여주는 명확한 증거입니다. 기업들은 이 경험을 통해 에이전트를 신뢰하는 방식, 모니터링하는 방법, 그리고 자율성을 부여하는 정도를 재조정할 수밖에 없었을 것입니다.

자동화된 평가 시스템, 거의 아무도 완전히 신뢰하지 않는다?

그렇다면 기업들은 현재의 자동화된 평가 시스템을 얼마나 신뢰하고 있을까요? 놀랍게도, 겨우 5%의 기업만이 현재의 자동화된 평가 시스템을 완전히 신뢰한다고 답했습니다. 무려 95%의 기업이 신뢰를 가로막는 한계점을 명확히 지적한 것입니다.

가장 흔한 불만 사항(29%)은 바로 ‘평가가 실제 결과와 잘 일치하지 않는다’는 점입니다. 이는 앞서 언급한 ‘내부 통과 후 고객 실패’의 주된 원인이기도 합니다. 편향성이나 일관성 부족(21%), 설명 가능성 부족(18%)도 주요 문제점으로 꼽혔습니다. 왜 특정 평가가 그런 결론을 내렸는지 알 수 없다는 점은 신뢰를 더욱 떨어뜨리는 요인입니다. 게다가 17%는 평가 과정 자체에서의 데이터 유출이나 개인 정보 보호 문제를 우려하고 있습니다. 에이전트의 자격증명 역할을 해야 할 평가 자체가 아직 신뢰를 얻지 못하고 있는 상황입니다.

그럼에도 불구하고, 자율성은 계속 상승한다: 역설의 현장

이 보고서의 핵심적인 역설은 바로 여기에 있습니다. 자동화된 평가를 완전히 신뢰하는 기업이 거의 없음에도 불구하고(앞서 언급한 5%!), 무려 3분의 2(66%)의 기업이 이미 ‘인간 개입이 없는(zero-human-in-the-loop)’ 배포를 허용하고 있거나, 향후 1년 이내에 이를 허용하기 위한 파이프라인을 적극적으로 구축 중이라는 사실입니다. 이 중 34%는 저위험 에이전트에 대해 이미 완전 자동 배포를 허용하고 있으며, 33%는 12개월 내에 이를 가능하게 만들고 있습니다. 단 22%만이 예측 가능한 미래에 이를 배제하고 있습니다.

방향성은 명확합니다. 기업들은 자동화된 평가 결과만을 바탕으로 인간의 확인 과정 없이 프로덕션에 에이전트를 배포하려는 움직임을 보이고 있습니다. 이는 그들이 평가가 현실과 신뢰할 수 있게 일치하지 않는다고 말하는 바로 그 순간에 일어나고 있는 일입니다. 다시 말해, 에이전트의 자율성 수준은 그 아래의 보증(assurance) 수준보다 훨씬 빠르게 상승하고 있는 것입니다. 이로 인해 ‘평가 통과 후 실패’ 사례는 줄어들기는커녕 더 확산될 가능성이 높다는 경고등이 켜진 셈입니다.

개인적으로는 이 부분에서 업계의 ‘혁신에 대한 압박’과 ‘경쟁 우위 확보’라는 목표가 리스크 관리보다 우선시되는 현실을 엿볼 수 있다고 생각합니다. 특히, 흥미로운 점은 이러한 자율성 베팅이 소규모 기업만의 현상이 아니라는 것입니다. 기업 규모별로 샘플을 분할했을 때, 대기업이 소규모 기업보다 제로-인간 검토 경로를 약간 더 따르고 있으며(70% 대 64%), 평가를 통과한 에이전트가 고객에게 실패한 경험도 약간 더 많습니다(54% 대 48%). 일반적으로 대규모의 규제 대상 조직이 인간 개입을 더 오래 유지할 것이라는 예상과는 정반대의 결과입니다. 이는 대기업 역시 AI 혁신의 속도에 뒤처지지 않기 위해 과감한 시도를 하고 있음을 시사합니다.

조각난 평가 스택과 ‘맹점’ 투성이의 모니터링

현재 에이전트 평가 스택은 매우 파편화되어 있고 성숙도가 낮습니다. 가장 일반적인 기본 도구는 모델 제공업체의 네이티브 평가 도구(OpenAI의 네이티브 평가 및 트레이스 17%, Anthropic의 Claude Console 평가 13%)이거나, 아예 전용 도구가 없는 경우(17%)와 같은 수준입니다. DeepEval(12%), Braintrust(8%) 등 전문 평가 벤더들은 아직 시장을 통합하지 못하고 있으며, 11%는 자체 개발 도구를 사용하고 있습니다. 아직 어떤 독립 플랫폼도 범주 표준으로 자리 잡지 못하고 있다는 것은 현재 평가 레이어가 초기 단계에 있음을 방증합니다.

더 우려스러운 점은 프로덕션 환경에서의 모니터링 방식입니다. AI 에이전트의 프로덕션 모니터링은 두 가지를 관찰할 수 있습니다. 하나는 시스템이 ‘작동하는지’ 여부입니다. 에이전트가 작동 중이고 응답하는지, 각 요청이 완료되었는지, 속도와 비용은 어떠한지, 오류는 없는지 등을 보는 것입니다. 다른 하나는 에이전트의 출력이 ‘올바른지’ 여부를 확인하는 것입니다. 실시간으로 나가는 각 답변의 내용을 평가하여, 에이전트가 올바른 답변을 제공했는지, 적절한 조치를 취했는지, 정책을 준수했는지 등을 확인하는 것입니다.

문제는 대다수 기업이 전자에만 집중한다는 점입니다. 응답 기업의 51%가 에이전트의 ‘작동 여부’만을 모니터링하는 반면, ‘답변의 정확성’을 모니터링하는 기업은 23%에 불과합니다. 즉, 약 4분의 3에 달하는 기업이 프로덕션 환경에서 출력의 정확성을 자동화된 방식으로 실시간 평가하지 않고 있습니다. 시스템이 정상 작동하고 비용은 얼마인지 알지만, 에이전트의 답변이 옳은지 그른지는 사실상 믿음에 의존하고 있는 것입니다. 솔직히 말해서, 이건 대단히 위험한 맹점입니다. 배포 전 평가에서 인간을 배제하려는 기업들이 정작 배포된 에이전트가 실시간으로 잘못된 판단을 내릴 때 이를 감지할 수 없는 상태라는 점은 심각한 문제입니다.

‘비용’으로 사고 ‘일관성’을 측정하다

그렇다면 기업들은 평가 벤더를 선택할 때 무엇을 가장 중요하게 생각할까요? 경제성과 실용성이 주효합니다. 평가 비용(28%)이 가장 중요한 선택 요인으로 꼽혔고, 통합 용이성(27%)과 평가 정확성(24%)이 그 뒤를 이었습니다. 반면, 성공의 척도로는 3분의 1 이상(36%)이 ‘평가 일관성’을 꼽았습니다. 동일한 행동에 대해 매번 동일한 평가를 내리는 능력 말입니다. 이는 실험 속도(19%), 실패 감소(18%)보다 훨씬 앞서는 수치입니다. 기업들이 평가의 판결을 신뢰하기 전에, 그 평가가 안정적이고 예측 가능하기를 원한다는 점은 시사하는 바가 큽니다. 현재 도구에 대한 만족도는 5점 만점에 3.8점으로 보통 수준에 머물고 있습니다.

다음 투자처는 ‘인간’과 ‘관찰 가능성’ – 조용한 모순

이러한 상황 속에서 기업들은 향후 1년 동안 어떤 신뢰성 및 평가 투자를 가장 늘릴 계획일까요? 가장 큰 투자는 ‘프로덕션 관찰 가능성(observability)‘이며, 그 다음으로는 ‘인간 검토 워크플로우(human review workflows)‘가 26%로 꼽혔습니다.

이것은 보고서의 ‘가장 조용한 모순’입니다. 3분의 2의 기업이 배포 결정에서 인간을 배제하려고 노력하는 동시에, 더 많은 기업이 인간 검토자에게 지출을 늘릴 계획(26%)을 갖고 있다는 점입니다. 이는 자동화된 평가 파이프라인에 대한 투자 계획(16%)보다 훨씬 높은 수치입니다. 제로-인간 배포와 인간 검토 예산이 같은 회사에서 동시에 증가하고 있다는 것은 무엇을 의미할까요?

제 분석으로는, 기업들이 양면적인 접근 방식을 취하고 있다고 볼 수 있습니다. 즉, 공격적인 자율성 추구와 동시에 잠재적 위험을 완화하기 위한 ‘헤징(hedging)’ 전략을 펼치고 있는 것입니다. 에이전트에게 자율성을 부여하면서도, 자동화된 평가가 아직 신뢰할 수 없는 중요한 결정에 대비하여 에이전트를 더 면밀히 감시하고 인간을 개입시킬 준비를 하고 있는 것이죠. 이는 현재의 자동화된 평가 기술이 아직 완전한 신뢰를 주기 어렵다는 내부적인 인식을 반영하며, 인간의 전문성과 판단이 여전히 필수적인 역할을 한다는 것을 보여줍니다. 하지만 장기적으로 이런 이중 투자가 효율적일지는 의문입니다.

평가 시장의 대격변이 시작된다

현재의 평가 시장은 매우 유동적입니다. 36%만이 현재 상태를 유지할 계획이지만, 명확한 다수(64%)는 12개월 이내에 새롭거나 추가적이거나 대체할 평가 플랫폼을 도입할 계획이며, 31%는 향후 3개월 이내에 이를 실행할 것입니다. 이는 현재 많은 기업이 공급자 네이티브 도구에 의존하거나 아예 전용 도구가 없다는 점을 감안할 때, 단순한 ‘이탈’이라기보다는 평가 도구 채택의 ‘첫 번째 실제 물결’로 해석될 수 있습니다. Confident AI의 DeepEval(20%), OpenAI의 네이티브 평가(13%), Braintrust(9%) 등이 고려 대상에 오르며, 오픈소스 전문 기업들이 현재 점유율보다 더 많은 관심을 받고 있습니다. 이 시점에서 어떤 플랫폼이 기업의 신뢰를 얻어 카테고리 표준으로 자리 잡을지 귀추가 주목됩니다.

결론: 자율성이 심화시킬, 해결해야 할 ‘평가 격차’

종합하자면, 100명 이상의 직원을 둔 기업들은 AI 에이전트에게 부여하는 독립성이 그들의 평가 시스템이 뒷받침할 수 있는 수준을 넘어서고 있습니다. 절반의 기업이 평가를 통과한 에이전트가 고객에게 실패한 경험을 했고, 거의 아무도 자동화된 평가를 완전히 신뢰하지 않습니다. 주된 이유는 평가가 실제 결과와 일치하지 않는다는 것입니다. 대부분의 기업이 프로덕션 환경에서 에이전트의 작동 여부와 비용을 모니터링할 뿐, 답변의 정확성을 실시간으로 확인하지 못하고 있습니다. 그럼에도 불구하고 3분의 2는 자동화된 평가만으로 프로덕션 배포를 허용하거나, 그 방향으로 나아가고 있습니다.

벤더 시장은 초기 단계이며 아직 정착되지 않았습니다. 가장 일반적인 기본 평가 도구는 공급자 네이티브 평가이거나, 아예 전용 도구가 없는 경우와 같은 수준입니다. 하지만 대다수의 기업이 1년 이내에 플랫폼을 채택하거나 전환할 계획입니다. 고무적인 점은 다음 투자가 관찰 가능성과 함께 — 특히 — 인간 검토에 집중되고 있다는 것입니다. 이는 기업들이 자율성을 향해 나아가면서도 ‘평가 격차’를 어렴풋이 감지하고 있음을 시사합니다.

이번 보고서는 157개 기업이라는 표본 크기 때문에 방향성을 제시하는 신호로 봐야 하지만, 그 방향은 분명합니다. AI 에이전트의 자율성은 이를 부여하는 사람들이 아직 완전히 신뢰하지 못하는 평가 시스템의 힘을 빌려 점점 더 확대되고 있습니다. ‘평가 격차’는 단순히 더 많은 테스트만으로 해결될 ‘커버리지 문제’가 아닙니다. 그것은 현실을 반영하고 신뢰할 수 있는 평가 시스템을 구축해야 할 근본적인 문제입니다. 앞으로 이러한 ‘평가 격차’가 에이전트의 자율성을 따라잡아 신뢰할 만한 보증을 제공할 수 있을지, 아니면 ‘거짓된 확신’에 의한 실패가 고객 문제에서 스스로 배포되는 시스템 변경으로까지 번질지는, 앞으로 AI 업계가 풀어야 할 가장 중요한 숙제가 될 것입니다.

---

출처

• 원문 제목: The agent evaluation gap: Enterprise AI organizations have a reality-alignment problem, not a coverage problem — and most are shipping to production anyway
• 출처: AI | VentureBeat
• 원문 기사 보러가기