기업 AI, 속도는 미덕? 판단을 위한 '맥락'이 없으면 독이 됩니다!
Published Apr 26, 2026
SAP 데이터 및 분석 부문 사장 겸 최고 제품 책임자인 어빈 칸(Irfan Khan)은 단호하게 말합니다. “AI는 결과를 만들어내는 데 엄청나게 능숙합니다. 빠르게 움직이죠. 하지만 맥락이 없으면 올바른 판단을 내릴 수 없고, 이 올바른 판단이야말로 비즈니스에 대한 투자 수익을 창출하는 핵심입니다. 판단 없는 속도는 아무런 도움이 되지 않습니다. 오히려 우리에게 해가 될 수 있습니다.” 이 발언은 오늘날 수많은 기업이 직면한 AI 도입의 가장 깊은 고민을 꿰뚫고 있습니다.
사실, 우리는 이미 AI가 기업 환경에서 실험 단계를 넘어 일상적인 사용으로 빠르게 확산하는 것을 목격하고 있습니다. 금융, 공급망, 인사, 고객 운영 등 전 사업 부문에 걸쳐 코파일럿, 에이전트, 예측 시스템들이 속속 도입되고 있죠. 최근 한 설문조사에 따르면, 2025년 말까지 기업 절반이 최소 세 가지 비즈니스 기능에서 AI를 활용할 것이라고 합니다. 이러한 속도는 놀랍지만, 비즈니스 리더들은 AI를 핵심 워크플로우에 내재화하면서 가장 큰 장애물이 모델 성능이나 컴퓨팅 파워가 아니라는 사실을 깨닫고 있습니다. 진짜 문제는 바로 시스템이 의존하는 데이터의 품질과 맥락입니다. AI는 단순히 데이터에 접근하는 것을 넘어, 그 데이터 뒤에 숨겨진 비즈니스 맥락을 이해해야 한다는 새로운 요구 사항을 제시하고 있는 것입니다.
AI의 ‘판단력’을 가로막는 보이지 않는 벽
맥락 없이는 AI가 아무리 빠르게 답을 생성하더라도 잘못된 결정을 내릴 수 있습니다. 이 점은 생각보다 훨씬 심각한 문제입니다. 과거에는 인간 전문가가 누락된 정보를 제공함으로써 맥락 부족을 암묵적으로 관리해왔습니다. 하지만 AI 시스템은 단순히 정보를 표시하는 것을 넘어, 그 정보에 따라 행동합니다. 만약 시스템이 데이터가 왜 중요한지 설명하지 못한다면, AI 모델은 엉뚱한 결과를 위해 최적화될 수 있습니다. 재고 수치, 결제 내역, 수요 신호가 아무리 정확하더라도, 어떤 고객을 우선순위로 해야 하는지, 어떤 계약상의 의무가 적용되는지, 어떤 제품이 전략적으로 중요한지는 알려주지 않는다는 겁니다. 결과적으로 시스템은 기술적으로는 정확하지만, 운영상으로는 결함이 있는 답변을 내놓을 수 있습니다.
솔직히 말해서, 이 지점이 기업들이 AI를 도입하며 겪는 가장 큰 혼란 중 하나라고 생각합니다. 많은 기업이 방대한 데이터를 보유하고 있지만, 그 데이터가 실제 비즈니스 프로세스, 정책, 목표와 어떻게 연결되는지에 대한 총체적인 이해가 부족합니다. 이른바 ‘데이터 사일로’와 ‘맥락 사일로’가 AI의 잠재력을 갉아먹고 있는 거죠.
칸 사장은 공급망 중단을 관리하는 두 회사의 사례를 들어 이 문제를 명확히 설명합니다. 한 회사는 재고 수준, 리드 타임, 공급 점수와 같은 원시 신호만을 AI에 활용하고, 다른 회사는 비즈니스 프로세스, 정책, 메타데이터 전반의 맥락을 추가합니다. 두 시스템 모두 데이터를 빠르게 분석하겠지만, 아마도 다른 결론에 도달할 것입니다. 어떤 고객이 전략적 계정인지, 부족 상황에서 어떤 절충안이 허용되는지, 확장된 공급망의 상태는 어떤지 등의 정보는 한 AI 시스템이 전략적 결정을 내리게 하는 반면, 다른 시스템은 적절한 맥락을 갖추지 못하게 되는 겁니다. “두 시스템 모두 매우 빠르게 움직이지만, 오직 하나만이 올바른 방향으로 움직입니다.” 칸 사장의 말은 이 문제의 핵심을 짚고 있습니다. 이는 바로 데이터 기반이 프로세스, 정책 및 데이터를 통해 맥락을 설계적으로 보존할 때 얻을 수 있는 ‘맥락 프리미엄(context premium)‘이자 이점인 셈입니다.
데이터 패브릭, AI의 신뢰할 수 있는 기반을 직조하다 🧶
이러한 현실 인식은 기업들이 AI 준비 상태에 대해 생각하는 방식을 바꾸고 있습니다. 대부분의 기업은 데이터와 AI 시스템을 신뢰할 수 있는 성숙한 데이터 프로세스와 인프라를 갖추고 있지 않다는 점을 인정하고 있습니다. 사실, 조직의 5분의 1만이 데이터 접근 방식이 매우 성숙하다고 평가하며, 단 9%만이 데이터 시스템과 통합하고 상호 운용할 준비가 완전히 되어 있다고 느끼고 있습니다. 이 수치만 봐도 현재 기업들이 얼마나 큰 데이터 기반의 도전에 직면해 있는지 알 수 있죠.
이러한 한계를 극복하기 위한 새로운 해법으로 **데이터 패브릭(Data Fabric)**이 부상하고 있습니다. 데이터 패브릭은 인프라, 아키텍처, 논리적 조직을 아우르는 추상화 계층입니다. 에이전트 기반 AI(Agentic AI)의 경우, 이 패브릭은 에이전트가 원시 저장 시스템이 아닌 비즈니스 지식과 상호 작용할 수 있도록 하는 기본 인터페이스가 됩니다. 여기서 핵심적인 역할을 하는 것이 바로 **지식 그래프(Knowledge Graphs)**입니다. 지식 그래프는 에이전트가 자연어와 비즈니스 로직을 사용하여 엔터프라이즈 데이터를 쿼리할 수 있도록 지원하며, 데이터 간의 복잡한 관계와 의미론적 맥락을 명확하게 표현하는 데 탁월합니다.
데이터 패브릭의 가치는 세 가지 핵심 구성 요소에 달려 있습니다.
- 지능형 컴퓨팅(Intelligent compute): 속도를 제공합니다.
- 지식 풀(Knowledge pool): 비즈니스 이해와 맥락을 제공합니다.
- 에이전트(Agents): 그 이해를 바탕으로 자율적인 행동을 제공합니다.
칸 사장은 이 기능들이 어떻게 함께 작동하는지가 이 모든 것을 강력하게 만든다고 강조합니다. 기술은 에이전트 간 통신 및 조정을 가능하게 하는 아키텍처를 제공하고, 프로세스는 비즈니스와 IT가 소유권을 공유하고 거버넌스 및 사람들이 신뢰하고 채택할 문화를 확립하는 방법을 정의합니다. 이 세 가지 요소가 모두 함께 작동해야 비즈니스 데이터 패브릭이 진정으로 성공할 수 있습니다. 개인적으로는 이 부분이 AI 시대의 데이터 전략에서 가장 중요한 변화라고 생각합니다. 과거의 데이터 웨어하우스나 데이터 레이크가 단순히 데이터를 모으고 저장하는 데 집중했다면, 데이터 패브릭은 데이터를 연결하고 맥락화하여 비즈니스에 대한 총체적인 지식으로 전환하려는 시도이기 때문입니다. 이는 데이터 관리의 패러다임이 ‘저장’에서 ‘지식화’로, 그리고 ‘활용’으로 진화하고 있음을 보여줍니다.
신뢰할 수 있는 AI, 비즈니스 영향으로 이어지다
결국, AI의 성공은 단순히 기술적 완성도를 넘어섭니다. 그것은 조직 전체가 데이터를 얼마나 신뢰하고, 그 데이터로부터 생성된 통찰과 결정이 얼마나 일관되고 정확한지에 달려 있습니다. 많은 기업이 AI 시스템을 신뢰하기 위한 성숙한 데이터 프로세스와 인프라가 부족하다는 사실을 인정하고 있습니다. 겨우 5분의 1의 조직만이 데이터 접근 방식이 매우 성숙하다고 생각하며, 9%만이 데이터 시스템과 완전히 통합하고 상호 운용할 준비가 되어 있다고 느낀다고 합니다. 이 통계는 우리가 가야 할 길이 아직 멀다는 것을 분명히 보여줍니다.
이러한 간극을 메우는 것이 바로 데이터 패브릭의 역할입니다. 데이터 패브릭은 기술 아키텍처를 제공하는 동시에, 비즈니스와 IT가 데이터에 대한 소유권을 공유하고, 데이터 거버넌스를 확립하며, 무엇보다 사람들이 AI를 신뢰하고 기꺼이 채택할 수 있는 문화를 조성하는 데 기여합니다. 칸 사장은 이 모든 요소가 합쳐졌을 때의 잠재력을 다음과 같이 설명합니다. “이것은 자신감 있고 일관된 의사결정을 가능하게 합니다. 그리고 이러한 요소들이 모두 결합될 때, AI는 단순히 데이터를 분석하고 해석하는 것을 넘어, 진정으로 비즈니스 영향을 창출하는 더 현명하고 빠른 결정을 이끌어냅니다. 이것이 바로 사려 깊게 설계된 비즈니스 데이터 패브릭의 약속이며, 모든 부분이 서로를 강화하고 모든 통찰력이 신뢰와 명확성을 바탕으로 이루어지는 곳입니다.”
결론적으로, AI 시대의 기업은 단순히 데이터를 빠르게 처리하는 것을 넘어, 그 데이터에 생생한 비즈니스 맥락을 부여하고, 이를 통해 AI가 신뢰할 수 있는 ‘판단력’을 갖추도록 해야 합니다. 데이터 패브릭은 이러한 맥락을 보존하고 연결하여, AI가 비즈니스의 진정한 가치를 창출하는 핵심적인 도구가 될 수 있도록 돕는 기반이 될 것입니다. 단순히 ‘빠른’ AI를 넘어, ‘현명하고 신뢰할 수 있는’ AI로 나아가기 위한 여정에서 데이터 패브릭은 이제 선택이 아닌 필수가 되고 있습니다.
출처
- 원문 제목: AI needs a strong data fabric to deliver business value
- 출처: MIT Technology Review
- 원문 기사 보러가기
