엔터프라이즈 AI, 90%의 성공은 재앙입니다: SAP의 경고와 생존 전략
Published May 4, 2026
소비자용 AI 모델에게 문서의 단어 수를 세어보라고 하면, 열에 아홉은 10% 정도 오차를 보인다고 합니다. 90%의 정확도, 언뜻 들으면 꽤 괜찮아 보입니다. 하지만 기업 환경에서는 이야기가 완전히 달라집니다. SAP의 유럽, 아시아 태평양, 중동 및 아프리카 지역 고객 성공 글로벌 사장인 마노스 랍토풀로스(Manos Raptopoulos)는 “90%와 100% 정확도 사이의 거리는 점진적인 것이 아닙니다. 우리 세상에서는 그것이 존폐를 가르는 문제입니다”라고 단언합니다. 이 충격적인 선언은 단순히 ‘좀 더 잘해야 한다’는 메시지를 넘어섭니다. 엔터프라이즈 AI가 직면한 근본적인 도전과제를 명확히 보여주는 것이죠.
기업들이 대규모 언어 모델(LLM)을 실제 운영 환경에 도입하면서, AI에 대한 평가 기준은 이제 단순히 ‘그럴듯한’ 결과물을 내놓는 것을 넘어섰습니다. 이제는 **정확성(precision), 거버넌스(governance), 확장성(scalability), 그리고 가시적인 비즈니스 영향(tangible business impact)**이라는 네 가지 핵심 축을 중심으로 재편되고 있습니다. 과거의 AI가 보조적인 도구였다면, 이제는 스스로 계획하고, 추론하며, 다른 에이전트와 협업하고, 워크플로우를 자율적으로 실행하는 능동적인 디지털 행위자(active digital actors), 즉 에이전트 AI 시스템으로 진화하고 있습니다. 랍토풀로스는 이 전환이야말로 기업의 이사회(corporate boards)가 마주할 가장 중요한 거버넌스 순간이라고 강조합니다.
에이전트 스파이럴: 그림자 IT의 재림일까?
자율적인 에이전트 AI 시스템은 민감한 데이터와 직접 상호작용하고, 대규모로 의사결정에 영향을 미칩니다. 랍토풀로스는 이러한 시스템을 인간 직원과 동일하게 관리하지 못한다면, 기업은 심각한 운영 위험에 노출될 것이라고 경고합니다. 그의 표현을 빌리자면, “에이전트 스파이럴(agent sprawl)“은 지난 10년간 기업들을 괴롭혔던 그림자 IT(shadow IT) 위기를 그대로 재현할 것이며, 심지어 그 파급력은 비교할 수 없을 정도로 클 것이라고 합니다. 그림자 IT가 기업 내부에서 비공식적으로 사용되던 소프트웨어나 시스템으로 인해 보안 및 데이터 거버넌스 문제를 일으켰다면, 에이전트 스파이럴은 통제 불능의 AI 에이전트들이 민감한 데이터와 비즈니스 프로세스에 직접 개입하며 훨씬 더 치명적인 결과를 초래할 수 있다는 의미입니다.
이러한 위험을 방지하기 위해 SAP가 제시하는 필수 요건들은 다음과 같습니다.
- 에이전트 수명 주기 관리(agent lifecycle management): 에이전트의 생성부터 폐기까지 전 과정을 체계적으로 관리해야 합니다.
- 자율성 경계 정의(defining autonomy boundaries): 에이전트가 어디까지 스스로 판단하고 실행할 수 있는지 명확한 한계를 설정해야 합니다.
- 정책 시행(enforcing policy): 기업의 비즈니스 정책과 규정을 에이전트의 작동에 통합하고 강제해야 합니다.
- 지속적인 성능 모니터링(continuous performance monitoring): 에이전트의 성능과 행동을 실시간으로 감시하고 문제가 발생하면 즉시 대응해야 합니다.
솔직히 말해서, 이 요구사항들은 단순한 기술적인 문제를 넘어섭니다. 마치 새로운 형태의 ‘디지털 인력’을 관리하는 것과 같죠. 인적 자원 관리(HR)와 유사한 접근 방식이 필요하다고 저는 생각합니다. AI 에이전트 하나하나가 기업의 핵심 기능을 수행할 수 있는 잠재력을 가졌다면, 그들의 ‘채용’, ‘교육’, ‘감독’, ‘퇴직’까지도 체계적으로 관리되어야 하는 시대가 온 것입니다.
엔지니어링의 늪과 C-suite의 숙제
에이전트 AI 시스템을 현실화하는 과정은 만만치 않습니다. 특히 현대적인 **벡터 데이터베이스(vector databases)**를 레거시 관계형 아키텍처(legacy relational architectures)와 통합하는 작업은 막대한 엔지니어링 자본을 요구합니다. 팀들은 에이전트의 추론 루프(inference loop)를 적극적으로 제한하여, **환각(hallucinations)**이 재무 또는 공급망 실행 경로를 오염시키는 것을 막아야 합니다. 이 엄격한 매개변수를 설정하는 것은 컴퓨팅 지연 시간과 하이퍼스케일러 컴퓨팅 비용을 증가시켜 초기 손익분석(P&L) 예측을 변경할 수 있습니다.
자율 모델이 결정론적인 결과물을 유지하기 위해 끊임없이, 고주파로 데이터베이스를 쿼리해야 할 때, 관련 **토큰 비용(token costs)**은 기하급수적으로 증가합니다. 이 대목에서 거버넌스는 단순한 규정 준수 체크리스트가 아니라, **하드 엔지니어링 제약(hard engineering constraint)**이 됩니다. AI를 단순히 ‘IT 프로젝트’로만 바라보던 시각은 이제 구시대적인 것이 된 셈입니다. 랍토풀로스는 기업 이사회가 에이전트 모델을 배포하기 전에 세 가지 기본적인 문제를 해결해야 한다고 주장합니다.
- 에이전트 오류에 대한 책임은 누가 지는가?
- 기계의 결정에 대한 감사 추적(audit trails)을 어떻게 확립할 것인가?
- 인간 개입이 필요한 정확한 임계값(thresholds)은 무엇인가?
더 나아가, 지정학적 분열(geopolitical fragmentation)은 이러한 질문에 답하기를 더욱 어렵게 만듭니다. 주권 클라우드 인프라(sovereign cloud infrastructures), AI 모델, 그리고 데이터 현지화 명령(data localisation mandates)은 뉴욕, 프랑크푸르트, 리야드, 싱가포르 등 주요 시장에서 규제 현실로 자리 잡았습니다. 기업들은 확률론적 인텔리전스(probabilistic intelligence)에 결정론적 통제(deterministic control)를 직접 내재화해야 합니다. 랍토풀로스는 이 요구사항을 C-suite(최고 경영진)의 의무이지 단순한 IT 프로젝트가 아니라고 역설합니다. 개인적으로 이 부분에서 주목할 점은, AI 거버넌스가 이제 최고 의사결정권자들의 핵심 아젠다가 되었다는 점입니다. 기술적 문제 해결을 넘어, 법률, 윤리, 사업 전략의 큰 그림 속에서 AI를 바라봐야 한다는 인식이 확산되고 있는 것입니다.
데이터 기반의 순간: 진정한 엔터프라이즈 인텔리전스를 찾아서
AI 시스템은 그들이 작동하는 데이터와 프로세스의 품질에 전적으로 의존합니다. 랍토풀로스는 이를 **데이터 기반의 순간(data foundation moment)**이라고 부릅니다. 파편화된 마스터 데이터, 사일로화된 비즈니스 시스템, 그리고 과도하게 맞춤화된 ERP 환경은 최악의 순간에 위험한 예측 불가능성을 초래합니다. 만약 자율 에이전트가 현금 흐름, 고객 관계 또는 규정 준수 위치에 영향을 미치는 권고 사항을 제공하기 위해 파편화된 기반에 의존한다면, 그로 인한 운영상의 피해는 즉시 대규모로 확산될 것입니다. 상상해보십시오, AI가 잘못된 데이터를 바탕으로 주요 고객에게 오안내를 하거나, 법적 리스크가 있는 결정을 내린다면 그 후폭풍은 엄청날 겁니다.
진정한 엔터프라이즈 가치를 추출하려면 인터넷 규모의 텍스트로 훈련된 일반적인 대규모 언어 모델을 넘어서야 합니다. 랍토풀로스가 설명하는 진정한 엔터프라이즈 인텔리전스는 **독점적인 기업 데이터(proprietary corporate data)**에 기반해야 합니다. 여기에는 주문, 송장, 공급망 기록, 비즈니스 프로세스에 직접 내재된 재무 기록 등이 포함됩니다. 그는 **구조화된 비즈니스 데이터에 특별히 최적화된 관계형 파운데이션 모델(relational foundation models)**이 예측, 이상 탐지, 운영 최적화 측면에서 일반 모델을 지속적으로 능가할 것이라고 주장합니다.
과도하게 맞춤화된 ERP 환경을 파운데이션 모델이 이해할 수 있도록 만드는 엄청난 운영상의 마찰은 많은 AI 배포를 중단시킵니다. 데이터 엔지니어링 팀은 AI가 데이터를 수집할 수 있는 기준선을 만들기 위해 파편화된 마스터 데이터를 정리하는 데 과도한 시간을 보냅니다. 관계형 모델이 원시 송장 데이터와 함께 복잡하고 독점적인 공급망 기록을 정확하게 해석해야 할 때, 기본 데이터 파이프라인은 지연 시간 없이 작동해야 합니다. 만약 데이터 수집이 실패하면 모델의 예측 능력은 즉시 저하되어, 에이전트가 비즈니스에 기능적으로 위험하게 됩니다.
레거시 아키텍처를 현대적인 관계형 AI와 통합하려면 깊이 뿌리박힌 데이터 파이프라인을 전면 개편해야 합니다. 엔지니어링 팀은 수십 년 동안 제대로 분류되지 않은 계획 데이터를 인덱싱하여, 임베딩 모델이 정확한 벡터 표현을 생성할 수 있도록 해야 합니다. 랍토풀로스의 논리를 따르면, 이사회는 단지 분리된 기반 위에 확률론적 인텔리전스를 쌓는 것이 아니라, 현재의 데이터 자산이 진정으로 준비되었는지 평가해야 합니다. 사실 이건 꽤 큰 문제입니다. 많은 기업이 수십 년간 쌓아온 복잡한 레거시 시스템과 데이터 구조를 가지고 있는데, 이를 AI 친화적으로 바꾸는 것은 단순히 기술 팀만의 노력으로 될 일이 아닙니다. 최고 경영진의 의지와 전사적인 투자가 필요한 변혁적 프로젝트인 것이죠.
직원 상호작용의 전환과 신뢰의 중요성
엔터프라이즈 애플리케이션 상호작용은 정적인 인터페이스에서 **생성형 사용자 경험(generative user experiences)**으로 전환되고 있습니다. 랍토풀로스는 이를 **직원 상호작용의 순간(employee interaction moment)**이라고 지적합니다. 직원들은 복잡한 소프트웨어 생태계를 수동으로 탐색하는 대신, 시스템에 자신의 의도를 표현하게 될 것입니다. 랍토풀로스는 사용자가 소프트웨어에 “이번 주 최고 수익 고객 방문을 위한 브리핑을 준비하라”고 지시하는 예를 제시합니다. 그러면 AI 에이전트는 필요한 워크플로우를 조율하고, 관련 맥락을 취합하며, 권장 조치를 제시합니다.
하지만 랍토풀로스는 직원들 사이에서의 AI 도입이 **신뢰(trust)**를 조건으로 한다는 점을 강조합니다. 아무리 강력하고 효율적인 AI 시스템이라 할지라도, 직원들이 이를 신뢰하지 않는다면 제대로 활용되지 못할 것입니다. AI가 내놓는 정보의 정확성에 대한 신뢰, AI가 자신의 업무를 침해하지 않을 것이라는 신뢰, 그리고 AI가 투명하게 작동한다는 신뢰가 바탕이 되어야 합니다. 결국 기술의 발전만큼이나 중요한 것은 인간적인 요소, 즉 관계와 신뢰라는 점을 다시 한번 상기시키는 대목입니다.
출처
- 원문 제목: SAP: How enterprise AI governance secures profit margins
- 출처: AI News
- 원문 기사 보러가기
