기업 AI의 미래, 모델 성능보다 '운영 계층 소유'에 달려있다
Published Apr 18, 2026
“엔터프라이즈 AI 시대의 판도를 바꿀 조직은 인텔리전스를 운영 플랫폼에 직접 내재화할 수 있는 곳이다.”
이 한 문장은 지금 우리가 흔히 이야기하는 기업 AI 담론의 허점을 정확히 짚어냅니다. 솔직히 말해서, 지난 몇 년간 우리 모두는 거대 언어 모델(LLM)과 그 벤치마크, 예를 들어 GPT와 Gemini의 추론 점수, 혹은 미미한 성능 향상에 과도하게 집중해왔던 것이 사실입니다. 매번 새로운 모델이 발표될 때마다 마치 거대한 기술의 도약이 일어나는 것처럼 호들갑을 떨었죠. 하지만 현실 세계의 기업 현장에서, 정말로 지속 가능한 경쟁 우위를 가져다주는 것은 이런 모델의 절대적인 성능 그 자체가 아닙니다. 오히려 인텔리전스가 실제 업무에 적용되고, 거버넌스를 통해 관리되며, 끊임없이 개선되는 **‘운영 계층(operating layer)‘**을 누가 소유하고 구축하느냐, 바로 이 구조적인 강점에 미래가 걸려 있다는 날카로운 분석이 나왔습니다.
AI, API 호출만으로 충분할까요? 🛠️
현재 기업들이 AI를 활용하는 방식은 크게 두 가지 모델로 나눌 수 있습니다.
첫 번째는 ‘주문형 유틸리티로서의 AI(AI as an on-demand utility)’ 모델입니다. OpenAI나 Anthropic과 같은 모델 제공업체들이 주도하는 방식이죠. 당신에게 문제가 생기면, 단순히 API를 호출하고 답을 얻는 형태입니다. 이 인텔리전스는 범용적이고, 대부분 상태를 유지하지 않으며, 의사결정이 이루어지는 일상적인 운영과는 느슨하게 연결되어 있습니다. 강력하고 점점 더 상호 교환 가능해지고 있지만, 매 프롬프트마다 지능이 초기화되는지, 아니면 시간이 지남에 따라 축적되는지가 핵심적인 차이점을 만듭니다. 즉, 호출할 때마다 새로운 질문에 대한 답을 받는 식입니다.
반면, 두 번째는 ‘운영 계층으로서의 AI(AI as an operating layer)’ 모델입니다. 이는 기존 기업들이 훨씬 유리하게 접근할 수 있는 방식이죠. 운영 전반에 걸친 측정(instrumentation), 인간의 의사결정에서 얻는 피드백 루프(feedback loops), 그리고 개별 작업을 재사용 가능한 정책으로 전환하는 거버넌스의 조합을 의미합니다. 이는 모델과 실제 작업 사이에 존재하며, 사용할수록 복합적으로 개선됩니다. 이런 설정에서는 모든 예외, 수정, 승인이 곧 학습의 기회가 됩니다. 플랫폼이 조직의 더 많은 업무를 흡수할수록 지능은 향상되는 것이죠.
솔직히 말해서, 업계의 지배적인 내러티브는 ‘민첩한 스타트업들이 AI 네이티브 솔루션을 처음부터 구축하며 기존 기업들을 능가할 것’이라고 말해왔습니다. 만약 AI가 주로 ‘모델 문제’에 불과하다면, 이 이야기는 타당합니다. 하지만 많은 엔터프라이즈 영역에서 AI는 단순한 모델 문제가 아닌, **통합(integrations), 권한(permissions), 평가(evaluation), 변경 관리(change management)**를 아우르는 복잡한 **‘시스템 문제(systems problem)‘**입니다. 이 영역에서는 이미 **대량의 중요 운영(high-volume, high-stakes operations)**에 깊숙이 자리 잡고 있으며, 그 위치를 학습과 자동화로 전환할 수 있는 기업에게 이점이 축적됩니다. 기존 강자들이 유리하다는 뜻이죠. 개인적으로는 이 부분이 엔터프라이즈 AI 성공의 가장 핵심적인 전환점이라고 생각합니다. 단순히 최신 모델을 가져다 쓰는 것을 넘어, 그 모델을 기업의 혈관 속에 깊이 심어 넣는 과정이 훨씬 중요하다는 의미입니다.
내재된 지식, AI 시대의 숨겨진 금광 💰
전통적인 서비스 조직은 간단한 아키텍처 위에 구축되어 있습니다. 인간이 소프트웨어를 사용하여 전문적인 작업을 수행하는 것이죠. 운영자들은 시스템에 로그인하여 작업을 탐색하고, 결정을 내리고, 사례를 처리합니다. 기술은 매개체이고, 인간의 판단이 곧 제품입니다.
하지만 AI 네이티브 플랫폼은 이 관계를 역전시킵니다. 문제가 입력되면, 축적된 도메인 지식을 적용하고, 높은 신뢰도로 자율적으로 실행할 수 있는 것은 자체적으로 처리합니다. 그리고 시스템이 아직 신뢰할 수 없는 판단을 요구하는 상황일 때만, 특정 하위 작업을 인간 전문가에게 라우팅합니다.
이러한 인간-AI 상호작용의 역전은 단순히 UI를 재설계하는 것을 넘어섭니다. 여기에는 ‘원재료’가 필요합니다. 이는 플랫폼이 **도메인 전문성(domain expertise), 행동 데이터(behavioral data), 운영 지식(operational knowledge)**이라는 수년간 축적된 기반 위에 구축될 때만 가능합니다. AI 네이티브 스타트업은 깨끗한 아키텍처를 가지고 빠르게 움직일 수 있지만, 대규모로 방어 가능한 도메인 AI를 만드는 데 필요한 이 ‘원재료’를 쉽게 만들 수는 없습니다.
기존 서비스 회사들은 이 세 가지를 이미 모두 가지고 있습니다. 하지만 이러한 요소들이 그 자체로 **진입 장벽(moats)**이 되는 것은 아닙니다. 이들은 기업이 복잡한 운영을 AI가 사용할 수 있는 신호와 조직적 지식으로 체계적으로 변환하고, 그 결과를 다시 운영에 피드백하여 시스템이 지속적으로 개선될 때 비로소 경쟁 우위가 됩니다. 이 부분이 정말 중요한데, 단순히 데이터를 쌓아두는 것을 넘어, 이를 **‘AI가 학습할 수 있는 형태로 가공하고 순환시키는 능력’**이야말로 진정한 핵심 역량이라는 뜻입니다.
대부분의 서비스 조직에서 전문 지식은 암묵적이고 일시적입니다. 최고의 운영자들은 쉽게 설명할 수 없는 것들을 알고 있습니다. 수년에 걸쳐 개발된 경험 법칙, 예외 상황에 대한 직관, 그리고 의식적인 추론 수준 아래에서 작동하는 패턴 인식 등이 그것이죠. Ensemble과 같은 기업은 이러한 도전을 해결하기 위한 전략으로 **지식 증류(knowledge distillation)**를 사용합니다. 이는 전문가의 판단과 운영 결정을 기계가 읽을 수 있는 훈련 신호로 체계적으로 변환하는 과정입니다.
예를 들어, 헬스케어 수익 주기 관리(revenue cycle management) 분야에서 시스템은 명시적인 도메인 지식으로 시드될 수 있으며, 운영자들과의 구조화된 일상적인 상호작용을 통해 커버리지를 심화시킵니다. Ensemble의 구현 방식에서는 시스템이 간극을 식별하고, 특정 질문을 공식화하며, 여러 전문가의 답변을 교차 확인하여 합의점과 예외 상황의 미묘한 차이를 모두 포착합니다. 그런 다음 이러한 입력값을 종합하여 전문가 수준의 성과를 뒷받침하는 상황적 추론을 반영하는 **살아있는 지식 기반(living knowledge base)**을 만듭니다. 이는 단순한 데이터베이스가 아니라, 학습하고 진화하는 지식의 보고인 셈입니다.
인간과 AI의 끊임없는 협력: 진정한 지능의 축적 🤝
일단 시스템이 신뢰할 수 있을 만큼 충분히 제약되면, 다음 질문은 연간 모델 업그레이드를 기다리지 않고 어떻게 더 나아질 수 있는가 하는 것입니다. 숙련된 운영자가 결정을 내릴 때마다, 그들은 단순히 완료된 작업 이상의 것을 생성합니다. 그들은 잠재적인 레이블링된 예시(labeled example), 즉 상황과 전문가의 행동(때로는 결과)이 결합된 데이터를 생성합니다. 수천 명의 운영자와 수백만 건의 결정에 걸쳐 대규모로 이루어지는 이러한 데이터 스트림은 **지도 학습(supervised learning), 평가, 그리고 특정 형태의 강화 학습(reinforcement learning)**을 가능하게 하여, 시스템이 실제 조건에서 전문가처럼 행동하도록 가르칩니다.
예를 들어, 한 조직이 일주일에 5만 건의 사례를 처리하고, 각 사례당 세 가지의 고품질 의사결정 포인트를 포착한다면, 이는 별도의 데이터 수집 프로그램을 만들지 않고도 매주 15만 개의 레이블링된 예시를 얻는 셈입니다. 엄청난 양의 학습 데이터가 일상 업무 속에서 자연스럽게 생성되는 것이죠.
더욱 발전된 휴먼-인더-루프(human-in-the-loop, HITL) 설계는 전문가들을 의사결정 과정 안에 배치하여, 시스템이 단순히 ‘정답이 무엇이었는지’뿐만 아니라 **‘모호함이 어떻게 해결되었는지’**까지 학습하도록 합니다. 실질적으로 인간은 분기점(branch points)에서 개입합니다. AI가 생성한 옵션 중에서 선택하고, 가정을 수정하고, 운영을 재지정하는 방식이죠. 각 개입은 고부가가치 훈련 신호가 됩니다. 플랫폼이 예외 상황이나 예상 프로세스에서 벗어나는 것을 감지하면, 간략하고 구조화된 근거를 요청하여 긴 자유 형식의 추론 로그 없이도 의사결정 요소를 포착할 수 있습니다.
이 모든 것의 궁극적인 목표는 수천 명의 도메인 전문가들의 축적된 전문성, 즉 그들의 지식, 결정, 추론을 AI 플랫폼에 영구적으로 내재화하여 모든 운영자가 달성할 수 있는 능력을 증폭시키는 것입니다. 이러한 접근 방식이 제대로 구현된다면, 이는 단순한 기술적 혁신을 넘어, 기업에 지속적이고 강력한 경쟁 우위를 제공하는 진정한 지능의 축적을 만들어낼 것입니다. 결국, AI의 진정한 가치는 단순히 빠른 답을 제공하는 것을 넘어, 기업의 핵심 운영 속에 깊이 스며들어 지속적으로 학습하고 진화하며 인간의 능력을 극대화하는 데 있다는 것을 이 기사는 명확히 보여주고 있습니다.
출처
- 원문 제목: Treating enterprise AI as an operating layer
- 출처: MIT Technology Review
- 원문 기사 보러가기
