AI 인프라 지출, '묻지마 투자'는 위험하다: 기업들이 보지 못하는 것
Published Jul 18, 2026
최근 몇 년간 AI는 단순한 기술 트렌드를 넘어 기업의 생존과 직결되는 핵심 동력으로 자리 잡았습니다. 챗GPT 이후 불어닥친 생성형 AI 열풍은 모든 산업 분야에 걸쳐 디지털 전환을 가속화하며, 너나 할 것 없이 AI 도입 경쟁에 불을 지폈죠. 이러한 흐름 속에서 기업들은 미래 경쟁력을 확보하기 위해 막대한 자본을 AI 인프라 구축에 쏟아붓고 있습니다. 고성능 GPU 품귀 현상은 이미 익숙한 뉴스가 되었고, 클라우드 서비스부터 자체 구축 데이터센터까지, AI를 위한 컴퓨팅 자원 확보는 최우선 과제가 되었습니다.
하지만 과연 기업들은 이러한 공격적인 투자를 얼마나 효율적으로, 그리고 전략적으로 진행하고 있을까요? VentureBeat의 최신 Pulse Research는 AI 인프라 투자에 대한 기업들의 현주소를 냉철하게 분석하며, 충격적인 현실을 드러냈습니다. 핵심은 바로 ‘컴퓨트 갭(Compute Gap)‘입니다. 이는 기업들이 AI 인프라에 엄청난 속도로 투자하고 있지만, 정작 그 투자비용과 경제성을 제대로 파악하지 못하고 있다는 것을 의미합니다. 한마디로, “묻지마 투자”의 그림자가 드리워지고 있다는 경고죠.
AI 열풍의 이면: ‘컴퓨트 갭’의 실체
VentureBeat가 100인 이상의 직원을 둔 107개 기업을 대상으로 진행한 이번 조사는, 기업들이 AI 인프라를 구축하고 운영하는 방식에 대한 중요한 통찰을 제공합니다. 이 보고서의 가장 핵심적인 발견은 바로 “야망이 실제 프로덕션 역량을 앞지르고 있다”는 것입니다. 응답 기업 중 AI를 ‘규모 있게 프로덕션에 적용하고 있다’고 답한 곳은 고작 21%에 불과합니다. 4분의 3에 해당하는 76%의 기업은 여전히 AI를 실험 중이거나 일부 워크로드만 운영하는 초기 단계에 머물러 있습니다.
이 부분에서 주목할 점은, 대부분의 기업들이 AI 도입 초기 단계에 있음에도 불구하고 인프라 지출 의도는 매우 공격적이라는 사실입니다. 즉, 아직 AI 시스템을 완전히 안정화하고 비용 효율을 검증할 단계에 이르지 못했는데도, 다음 단계의 투자를 계획하고 있다는 의미입니다. 개인적으로는, 이러한 상황이 바로 ‘컴퓨트 갭’이 심화되는 주요 원인이라고 생각합니다. 성숙도가 낮은 조직일수록 검증되지 않은, 또는 최적화되지 않은 투자를 할 가능성이 높기 때문입니다.
현재 대부분의 기업들은 AI 워크로드를 하이퍼스케일러(Google Cloud, Microsoft Azure, AWS 등)나 주요 모델 API(Gemini, OpenAI, Anthropic)에 의존하고 있습니다. 이는 이미 익숙한 클라우드 환경에서 AI를 시작하는 자연스러운 수순이죠. 하지만 흥미로운 점은, 소위 AI 특화 GPU 클라우드라고 불리는 코어위브(CoreWeave), 람다(Lambda), 크루소(Crusoe) 같은 신흥 강자들은 현재 거의 사용되지 않고 있다는 사실입니다. 자체 온프레미스 GPU 클러스터를 운영하는 기업은 6%, 커스텀 오픈소스 스택을 사용하는 곳은 4%에 불과합니다. 기존 인프라에 발을 담그고 AI를 시작하는 것이 현 시점의 모습입니다.
미래를 향한 과감한 베팅, 그리고 숨겨진 비용
지금 당장은 익숙한 하이퍼스케일러에 의존하고 있지만, 기업들의 미래 투자 계획은 완전히 다른 방향을 가리키고 있습니다. 보고서의 가장 날카로운 긴장 지점은 바로 여기에 있습니다. 향후 12개월간 AI 인프라 평가 계획을 묻는 질문에, 응답 기업의 45%가 AI 특화 클라우드를 꼽았습니다. 놀랍게도, 이는 현재 거의 사용하지 않는 (Finding 2 참조) 바로 그 카테고리입니다! 거의 3분의 1(32%)은 엔비디아 외 비(非)엔비디아 가속기를 평가할 예정이며, 28%는 차세대 엔비디아 실리콘을 검토할 계획입니다. 심지어 탈중앙화 컴퓨팅 네트워크(16%)와 주권 컴퓨팅(11%)에도 상당한 관심이 집중되어 있습니다.
솔직히 말해서, 이는 단순히 점진적인 변화가 아니라, AI 인프라 스택의 **전면적인 재편(re-platforming)**을 예고하는 신호로 보입니다. 기업들은 범용 클라우드에서 AI 컴퓨팅 워크로드의 상당 부분을 이동시킬 준비를 하고 있는 것입니다. 이러한 추세는 지난 4~5월 조사에서도 나타났습니다. 당시에도 AI 특화 클라우드로의 워크로드 이동이 가장 많이 언급된 전략 변화였죠. 두 번의 조사에서 일관되게 나타나는 그림은, 기업들이 가장 적극적으로 평가하려는 클라우드 유형이 바로 현재 거의 사용하지 않는 유형이라는 것입니다.
그렇다면 기업들은 어떤 기준으로 새로운 공급업체를 선택할까요? 중요한 것은 ‘토큰당 비용’ 같은 표면적인 가격이 아니라는 점입니다. 보고서에 따르면, 기존 스택과의 **통합(41%)**과 **총 소유 비용(TCO, 35%)**이 가장 중요한 결정 요인으로 꼽혔습니다. 백만 토큰당 비용은 단 8%만이 결정 요인으로 선택해 최하위를 기록했습니다. 이는 합리적인 선택으로 보입니다. 기업들은 단순히 저렴한 광고 가격이 아니라, 실제 운영에 드는 총체적인 비용과 기존 시스템과의 시너지를 고려한다는 뜻이니까요.
하지만 여기서 또 다른 ‘컴퓨트 갭’의 단면이 드러납니다. 기업들은 TCO를 중요하게 생각한다고 말하지만, 대다수가 이를 엄격하게 측정할 능력이 없다는 것입니다. 44% 미만의 기업만이 AI 컴퓨팅 비용과 수익률을 엄격하게 추적하고 있으며, 대다수는 부분적으로만 추적하거나 아예 측정할 수 없는 실정입니다. 가장 중요한 구매 기준이라고 말하면서도, 정작 이를 측정하고 관리할 역량이 부족하다는 것은 심각한 문제입니다. 현재 인프라에 대한 만족도도 5점 만점에 평균 4.0점으로 ‘열정적’이지는 않으며, 특히 ‘가격 대비 가치’ 부분에서 가장 낮은 점수를 기록했습니다. 역시 측정하기 어려운 영역에서 불만이 쌓이는 것이죠.
더욱 충격적인 사실은 GPU 활용률입니다. GPU를 운영하는 기업 중 무려 83%가 GPU 활용률이 50% 이하라고 답했으며, 거의 절반에 가까운 49%는 25% 이하라고 보고했습니다. 50% 이상 활용하는 기업은 12%에 불과하고, 8%는 아예 활용률을 측정조차 하지 못하고 있습니다. 값비싼 GPU가 대부분의 시간을 유휴 상태로 보내고 있다는 것입니다. GPU 품귀 현상으로 아우성이지만, 정작 기업들이 보유한 자원은 제대로 활용되지 못하고 있는 모순적인 상황이죠. 이는 ‘컴퓨트 갭’을 가장 명확하게 보여주는 단일 지표라고 할 수 있습니다. 기업들은 새로운 GPU와 특화된 컴퓨팅 자원을 구매할 계획이지만, 이미 소유한 자원은 상당 부분 사용되지 않고 있다는 것을 알 수 있습니다.
다음 파도: 메모리 대역폭, 준비는 되어있는가?
현재의 ‘컴퓨트 갭’도 심각하지만, 더 큰 문제는 다음 병목 현상이 이미 다가오고 있다는 사실입니다. 대규모 AI 추론(inference)에서 GPU 컴퓨팅 역량에서 메모리 대역폭, 특히 KV-캐시 용량으로 제약 조건이 이동할 것이라는 예측은 AI 업계의 주요 화두 중 하나입니다. 그런데 이번 조사 결과에 따르면, 기업들은 이 새로운 변화에 대해 거의 준비되어 있지 않습니다.
이 새로운 ‘메모리 프론티어’는 현실이지만, 거의 관리되지 않고 있습니다. 응답 기업 중 약 18%는 이 제약 조건 자체를 인식하지 못하거나, 아직 해결책을 마련하지 못하고 있다고 답했습니다. 추론 비용과 아키텍처를 근본적으로 재편할 변화임에도 불구하고, 대다수 기업의 레이더에조차 제대로 포착되지 않고 있는 것이죠. 이는 Finding 7에서 드러난 측정 능력 부족과도 일맥상통합니다. 현재의 컴퓨팅 비용조차 제대로 보지 못하는 상황에서, 다음 세대의 병목 현상에 대한 비전을 갖기란 어려운 일입니다. 결국, 현재의 ‘컴퓨트 갭’을 해소하기도 전에 다음 챕터가 이미 시작되고 있다는 의미입니다.
결론 (The Bottom Line): 이번 VentureBeat 보고서는 AI 시대에 기업들이 직면한 아이러니를 여실히 보여줍니다. AI 기술 도입에 대한 열정적인 의지와 막대한 투자는 분명 긍정적인 신호입니다. 하지만 이면에 숨겨진 ‘컴퓨트 갭’은 심각한 경고음을 울리고 있습니다. 기업들은 현재의 AI 인프라 경제성을 제대로 측정하지 못하면서도, 더 많은 하드웨어와 새로운 형태의 컴퓨팅 자원에 투자할 계획을 세우고 있습니다. 활용률이 절반도 안 되는 GPU가 놀고 있는 상황에서, 새로운 GPU와 AI 특화 클라우드를 찾는 행위는 비효율성을 가속화할 뿐입니다.
이는 단순히 ‘더 많은 하드웨어가 필요한’ 용량 문제가 아닙니다. 근본적으로 ‘지금 가지고 있는 하드웨어가 얼마의 비용을 발생시키는지조차 보지 못하는’ 가시성(visibility)의 문제입니다. 기업들은 TCO를 중요하게 생각하지만, 이를 측정할 도구나 프로세스가 부족합니다. 다음 라운드의 AI 인프라 재편이 본격화되기 전에, 기업들이 이러한 가시성을 확보하고 효율적인 측정 시스템을 구축할 수 있을지가 가장 중요한 숙제가 될 것입니다. 그렇지 않다면, 다음 세대의 인프라도 지금처럼 눈먼 투자가 될 가능성이 높습니다. AI 혁명의 진정한 성공은 기술 도입 속도뿐만 아니라, 그 투자를 얼마나 현명하게 관리하느냐에 달려있음을 잊지 말아야 합니다.
출처
- 원문 제목: The AI compute gap: Enterprises are buying infrastructure faster than they can measure what it costs
- 출처: AI | VentureBeat
- 원문 기사 보러가기
