AI 투자 1.8억 달러 시대, 11%만이 진정한 성과를 맛보는 이유
Published Apr 4, 2026
“더 많은 AI 지출이 곧 더 많은 가치 창출을 의미하지는 않습니다. 선도적인 조직들은 단순한 가능성을 넘어 AI 에이전트를 배포하여 프로세스를 재구상하고 기업 전반의 의사 결정 및 업무 흐름을 재편하고 있습니다.” KPMG 인터내셔널의 AI 및 디지털 혁신 글로벌 총괄 스티브 체이스(Steve Chase)의 이 발언은 오늘날 엔터프라이즈 AI 투자의 냉혹한 현실을 정확히 짚어냅니다. 전 세계 기업들이 향후 12개월간 AI에 평균 1억 8,600만 달러(약 2,500억 원)를 쏟아부을 계획임에도 불구하고, KPMG의 첫 분기별 글로벌 AI 펄스(Global AI Pulse) 설문조사 결과는 충격적입니다. 기업 전반의 비즈니스 성과를 창출할 방식으로 AI 에이전트를 배포하고 확장하는 데 성공한 조직은 전체의 11%에 불과하다고 하니, 이 간극은 도대체 어디서 오는 걸까요?
‘의미 있는 성과’의 진짜 의미
KPMG 보고서의 핵심은 AI 자체가 실패하고 있다는 것이 아닙니다. 응답 기업의 64%가 AI가 이미 ‘의미 있는(meaningful)’ 비즈니스 성과를 제공하고 있다고 말했으니까요. 하지만 여기에서 ‘의미 있는’이라는 단어가 얼마나 많은 짐을 지고 있는지 잘 봐야 합니다. 단순히 생산성을 조금 높이는 수준의 증분적(incremental) 이득과, 기업의 마진을 실질적으로 움직이는 복합적인 운영 효율성 사이의 거리는 대부분의 조직에게 여전히 상당하다는 것이죠.
보고서는 AI를 성공적으로 확장하거나 능동적으로 에이전트 AI를 운영하는 조직을 **‘AI 리더’**로 분류하고, 나머지 기업들과 명확히 구분합니다. 이 두 그룹 간의 결과 차이는 실로 놀랍습니다. AI 리더 그룹에서는 82%가 AI가 이미 의미 있는 비즈니스 가치를 제공한다고 답한 반면, 다른 기업들에서는 이 수치가 62%로 떨어집니다. 20%포인트의 차이가 단순해 보일 수도 있지만, 이는 단지 더 나은 도구를 사용한다는 것을 넘어 근본적으로 다른 배포 철학을 반영한다는 점에서 빠르게 복합적인 격차를 만들어낼 것입니다.
11%에 해당하는 AI 리더들은 다음과 같은 방식으로 AI 에이전트를 배포하고 있습니다.
- 다양한 기능 간의 작업을 조율합니다.
- 모든 단계에서 인간의 개입 없이 의사 결정을 라우팅합니다.
- 운영 데이터에서 거의 실시간으로 기업 전체의 통찰력을 도출합니다.
- 사건으로 확대되기 전에 이상 징후를 감지합니다.
구체적인 사례를 보면 더욱 명확해집니다. IT 및 엔지니어링 기능에서 AI 리더의 75%가 코드 개발을 가속화하기 위해 에이전트를 사용하는 반면, 다른 기업들은 64%에 그칩니다. 공급망 오케스트레이션이 주요 사용 사례인 운영 부문에서는 64% 대 55%의 차이를 보입니다. 이는 단순히 도구 채택률의 작은 차이가 아니라, 프로세스 재설계 수준의 차이를 보여주는 대목입니다.
대부분의 기업은 기존 워크플로 위에 코파일럿이나 요약 도구 같은 AI 모델을 덧씌우는 방식으로 AI를 도입합니다. 즉, 도구가 작동하는 프로세스 자체를 재설계하지 않는다는 것이죠. 이러한 접근 방식은 당연히 증분적인 이득만 가져옵니다. 반면, 성과 격차를 줄이는 조직들은 접근 방식을 역전시킵니다. 프로세스를 먼저 재설계한 다음, 재설계된 구조 내에서 작동하도록 에이전트를 배포하는 것이죠. 이 두 가지 접근 방식 간의 AI 투자 수익률 차이는 3~5년 후 여러 산업에서 경쟁력을 좌우하는 결정적인 변수가 될 가능성이 높습니다.
개인적으로는 이 부분이야말로 현재 기업들이 AI 투자를 성공적으로 이끌어낼 수 있는지 판가름하는 핵심이라고 생각합니다. 과거 전사적자원관리(ERP) 시스템 도입이나 디지털 트랜스포메이션을 추진할 때도 단순히 솔루션만 들여놓는다고 성공하는 것이 아니라, 기존 업무 프로세스를 혁신적으로 재정의하는 것이 선행되어야 했습니다. AI 에이전트는 기존의 자동화 도구를 넘어 ‘자율적인 의사결정’에 더 가까운 역량을 갖추기에, 이러한 프로세스 재설계의 중요성은 더욱 커질 수밖에 없습니다.
보이지 않는 복병: 마찰 비용과 AI 인프라
KPMG 데이터에 나타난 투자액은 자세히 들여다볼 가치가 있습니다. 전 세계 조직당 1억 8,600만 달러라는 가중 평균 금액은 상당해 보이지만, 지역별 편차를 보면 더 흥미로운 이야기가 펼쳐집니다. 아시아 태평양(ASPAC) 지역이 2억 4,500만 달러로 가장 높고, 미주 지역이 1억 7,800만 달러, EMEA(유럽, 중동, 아프리카) 지역이 1억 5,700만 달러 순입니다. 특히 ASPAC 내에서는 중국과 홍콩을 포함한 조직들이 평균 2억 3,500만 달러를 투자하며 선두를 달리고, 미주 지역에서는 미국 조직들이 2억 700만 달러를 투자할 계획입니다.
이 수치들은 모델 라이선싱, 컴퓨팅 인프라, 전문 서비스, 통합, 그리고 AI를 책임감 있게 대규모로 운영하는 데 필요한 거버넌스 및 위험 관리 장치에 대한 계획된 지출을 나타냅니다. 여기서 핵심 질문은 1억 8,600만 달러가 너무 많거나 적으냐가 아닙니다. 그 금액 중 얼마의 비율이 모델 자체에서 가치를 이끌어내는 데 필요한 운영 인프라에 할당되고 있느냐는 것이죠. 설문조사 데이터는 대부분의 조직이 이 후자의 범주를 여전히 과소평가하고 있음을 시사합니다.
컴퓨팅 및 라이선싱 비용은 가시적이며 예산을 책정하기 비교적 쉽습니다. 하지만 소위 ‘마찰 비용(friction costs)‘은 배포 주기 후반에 나타나며 초기 추정치를 초과하는 경우가 많습니다.
- 레거시 ERP 시스템과 AI 출력을 통합하는 데 드는 엔지니어링 시간
- 잘 구조화되지 않은 데이터 위에 구축된 검색 증강 생성(RAG) 파이프라인으로 인해 발생하는 지연 시간
- 규제 산업에서 AI 지원 의사 결정에 대한 감사 추적을 유지하는 데 필요한 규정 준수 오버헤드
벡터 데이터베이스 통합은 유용한 예시입니다. 많은 에이전트 기반 워크플로는 대규모의 비정형 문서 저장소에서 관련 컨텍스트를 실시간으로 검색하는 능력에 의존합니다. 이를 위한 인프라를 구축하고 유지 관리하는 것, 즉 Pinecone, Weaviate, Qdrant와 같은 공급업체 중에서 선택하고, 독점 데이터를 임베딩 및 인덱싱하며, 기본 데이터 변경에 따라 새로고침 주기를 관리하는 것은 상당한 엔지니어링 복잡성과 지속적인 운영 비용을 추가하며, 이는 초기 AI 투자 제안에는 거의 나타나지 않습니다. 이러한 인프라가 없거나 제대로 유지 관리되지 않으면, 모델의 동작은 수신된 컨텍스트에 대해 정확하더라도 그 컨텍스트가 오래되었거나 불완전하여 에이전트 성능이 저하됩니다. 솔직히 말해서, 이 부분에서 기업들은 과거 온프레미스에서 클라우드로 전환할 때 겪었던 ‘숨겨진 비용’의 악몽을 다시 꿀 가능성이 높습니다. 단순히 모델을 도입하는 데 급급하기보다, 모델이 기업 시스템과 유기적으로 작동하기 위한 견고한 데이터 및 운영 인프라를 처음부터 계획하고 투자하는 것이 필수적입니다.
리스크 관리, 성숙도가 좌우한다
KPMG 설문조사에서 가장 실용적으로 유용한 발견은 AI 성숙도와 리스크 자신감 사이의 관계일 겁니다. 아직 실험 단계에 있는 조직 중에서는 20%만이 AI 관련 리스크를 관리할 수 있다고 자신합니다. 반면 AI 리더 그룹에서는 이 수치가 49%로 증가합니다. 글로벌 리더의 75%는 성숙도 수준과 관계없이 데이터 보안, 프라이버시 및 리스크를 지속적인 문제로 꼽지만, 성숙도는 이러한 우려가 어떻게 운영되는지를 변화시킵니다.
이것은 AI 거버넌스를 배포에 대한 제약으로 보는 경향이 있는 이사회 및 리스크 관리 부서에게 중요한 차이점입니다. KPMG 데이터는 정반대의 역학 관계를 시사합니다. 즉, 거버넌스 프레임워크는 배포를 제약하는 것이 아니라 오히려 안전하고 효율적인 배포를 가능하게 하는 조력자 역할을 한다는 것입니다. AI에 대한 이해와 경험이 깊어질수록, 단순히 규제를 피하는 수준을 넘어 실제 발생 가능한 위험을 예측하고 선제적으로 대응할 수 있는 시스템을 구축하게 된다는 의미입니다. 이는 리스크 관리가 혁신의 발목을 잡는다는 통념을 깨는 중요한 통찰이죠.
결론적으로 KPMG의 이번 보고서는 기업들이 AI 투자를 성공으로 이끌기 위해서는 단순한 예산 증액을 넘어선 전략적인 접근이 필요하다는 점을 명확히 보여줍니다. 프로세스를 재설계하고, 눈에 보이지 않는 운영 인프라와 마찰 비용을 간과하지 않으며, AI 거버넌스를 성장의 동력으로 활용하는 것. 이 세 가지가 바로 오늘날 11%의 AI 리더들이 나머지 89%와 차별화되는 핵심 요소라 할 수 있겠습니다. 투자는 많지만 성과는 미미한 AI 시대, 당신의 기업은 어디에 서 있나요?
출처
- 원문 제목: KPMG: Inside the AI agent playbook driving enterprise margin gains
- 출처: AI News
- 원문 기사 보러가기
