AI 광풍 속 숨겨진 비용 낭비? ScaleOps, 1억 3천만 달러 투자 유치로 효율성 혁신 예고
Published Mar 30, 2026
“Run:ai에서 일하면서 많은 고객, 특히 데브옵스 팀을 만났습니다. 그들은 Run:ai가 제공하는 것을 정말 좋아했지만, 특히 AI 시대에 추론 워크로드가 더욱 보편화되면서 프로덕션 워크로드를 관리하는 데 여전히 어려움을 겪었습니다. 제가 한발 물러서서 보니 문제는 단순히 GPU에만 국한되지 않았습니다. 컴퓨팅, 메모리, 스토리지, 네트워킹 전반에 걸쳐 있었습니다. 똑같은 패턴이 계속 반복되었고, 팀들은 리소스를 효율적으로 관리하는 데 실패하고 있었습니다.” ScaleOps의 CEO인 요다르 샤프리르(Yodar Shafrir)는 테크크런치에 이렇게 말했습니다.
샤프리르 CEO의 이 발언은 오늘날 AI 산업이 직면한 가장 심각하면서도 눈에 잘 띄지 않는 문제의 핵심을 꿰뚫고 있습니다. 인공지능이 전례 없는 속도로 발전하며 우리 삶의 모든 영역에 스며들고 있지만, 그 빛나는 성공 뒤편에서는 엄청난 규모의 비효율성과 비용 낭비가 그림자처럼 따라붙고 있습니다. GPU는 종종 유휴 상태로 놓여있고, 워크로드는 과도하게 프로비저닝되며, 클라우드 비용은 하늘 높은 줄 모르고 치솟고 있죠. 많은 기업들이 GPU 부족을 논하지만, 사실 진짜 문제는 자원 관리 부실에 있다는 날카로운 지적은 우리에게 신선한 충격을 안겨줍니다.
바로 이 지점에서 혁신적인 솔루션을 제시하며 빠르게 성장하고 있는 스타트업, ScaleOps가 주목받고 있습니다. ScaleOps는 인공지능 수요 속에서 컴퓨팅 효율성을 개선하기 위해 1억 3천만 달러(약 1,700억 원) 규모의 시리즈 C 투자를 유치했다고 발표했습니다. 이번 투자는 인사이트 파트너스(Insight Partners)가 주도했으며, 기존 투자자인 라이트스피드 벤처 파트너스(Lightspeed Venture Partners), NFX, 글일롯 캐피탈 파트너스(Glilot Capital Partners), 픽쳐 캐피탈(Picture Capital) 등도 참여했습니다. 무려 8억 달러(약 1조 1천억 원)의 기업 가치를 인정받은 이번 라운드를 통해 ScaleOps는 AI 인프라의 고질적인 문제를 해결하고, 기업들이 클라우드 및 AI 인프라 비용을 최대 80%까지 절감할 수 있도록 돕는다는 야심찬 목표를 더욱 가속화할 예정입니다.
AI 시대, 보이지 않는 비용과의 전쟁
AI 시대는 말 그대로 컴퓨팅 파워의 시대를 열었습니다. 방대한 데이터 학습과 복잡한 모델 추론을 위해선 강력한 GPU와 안정적인 클라우드 인프라가 필수적이죠. 하지만 아이러니하게도, 이러한 필수 자원이 종종 비효율적으로 사용되고 있다는 것이 현실입니다. 기업들은 고가의 GPU를 구매하고 클라우드 자원을 할당하지만, 실제로는 상당 부분의 자원이 제대로 활용되지 못하고 유휴 상태로 방치되는 경우가 허다합니다. 워크로드를 처리하기 위해 여유 있게 자원을 과도하게 프로비저닝하는 관행은 비단 AI 분야만의 문제는 아니었지만, 폭발적으로 증가하는 AI 워크로드와 그에 따른 천문학적인 비용은 이 문제를 더 이상 간과할 수 없게 만들었습니다.
요다르 샤프리르 CEO가 Run:ai에서 일할 당시 경험했던 바와 같이, 데브옵스(DevOps) 팀은 이러한 문제로 인해 엄청난 어려움을 겪었습니다. 그는 대규모 머신 클러스터에서 애플리케이션을 실행하는 데 큰 도움을 주는 쿠버네티스(Kubernetes)와 같은 도구들이 여전히 정적인 구성(static configurations)에 의존한다는 점을 지적합니다. 하지만 오늘날의 AI 워크로드는 너무나 역동적입니다. 수요가 시시각각 변하고, 모델 학습과 추론 작업의 특성도 계속 달라지죠. 정적인 구성으로는 이러한 변화에 발맞춰 자원을 효율적으로 할당하고 회수하는 것이 거의 불가능에 가깝습니다. 결국, GPU는 제대로 사용되지 않고 성능 저하가 발생하며, 이는 막대한 비용 비효율성으로 이어지게 됩니다.
데브옵스 팀은 자원 관련 문제를 해결하기 위해 여러 이해관계자들을 찾아다녀야 했지만, 그 노력은 번번이 실패로 돌아가는 경우가 많았습니다. 솔직히 말해서, 대부분의 기존 도구들은 문제의 ‘가시성’을 제공하는 데는 성공했지만, 정작 ‘실질적인 해결책’을 제시하지 못했습니다. 어디가 문제인지 보여주기만 할 뿐, 직접 문제를 고쳐주지는 못했다는 이야기입니다. 이 간극이야말로 ScaleOps가 발견한 거대한 시장 기회였습니다. 인프라가 알아서 움직이고, 스스로 최적화되는 자율형 인프라 관리의 필요성이 그 어느 때보다 절실해진 것이죠.
ScaleOps의 비밀 병기: ‘자율형’ 인프라 관리
그렇다면 ScaleOps는 어떻게 이 고질적인 문제를 해결하고 있을까요? 샤프리르 CEO는 그들의 핵심은 ‘실시간성’과 ‘자율성’에 있다고 설명합니다. ScaleOps는 애플리케이션의 요구사항을 실시간으로 파악하여 인프라 의사 결정에 연결하고, 인프라를 종단 간(end-to-end)으로 관리하는 완전 자율형 솔루션을 제공합니다. 이는 기존의 부분적인 자동화 도구들과는 확연히 다른 접근 방식입니다.
샤프리르 CEO는 “쿠버네티스는 훌륭한 시스템입니다. 유연하고 고도로 구성 가능하죠. 하지만 그것이 바로 문제입니다.”라고 말합니다. 그는 이어서 “쿠버네티스는 정적 구성에 크게 의존합니다. 오늘날 애플리케이션은 고도로 동적이며, 이는 팀 전반에 걸쳐 지속적인 수동 작업을 요구합니다. 각 애플리케이션의 컨텍스트, 즉 무엇을 필요로 하고, 어떻게 동작하며, 환경이 어떻게 변화하는지를 이해하는 무언가가 필요합니다.”라고 강조했습니다.
이 발언에서 저는 한 가지 중요한 통찰을 얻습니다. 즉, 기술의 발전이 특정 영역의 복잡성을 해결하지만, 동시에 다른 영역에서는 새로운 종류의 복잡성을 유발한다는 점입니다. 쿠버네티스가 컨테이너 오케스트레이션이라는 거대한 도전을 해결했지만, 그 유연성이 오히려 AI 시대의 역동적인 워크로드 관리에는 제약이 될 수 있다는 점은 시사하는 바가 큽니다. ScaleOps는 바로 이 지점에서 애플리케이션 컨텍스트를 이해하고 이를 기반으로 인프라를 지능적으로 조율함으로써, 쿠버네티스의 강점을 유지하면서도 그 한계를 극복하려는 시도라고 볼 수 있습니다.
시장에는 Cast AI, Kubecost, Spot과 같은 여러 경쟁자들이 존재합니다. 이들 회사 역시 자동화 도구를 선보였지만, 샤프리르 CEO에 따르면 이들은 종종 전체적인 컨텍스트 없이 작동하여 성능 문제나 심지어 시스템 다운타임을 유발할 수 있습니다. 이는 프로덕션 환경을 운영하는 팀들 사이에서 신뢰를 떨어뜨리는 요인이 되죠. ScaleOps는 바로 이 점을 차별점으로 내세웁니다. 그들의 플랫폼은 처음부터 프로덕션 환경을 위해 구축되었으며,
- 완전 자율형(Fully autonomous): 사람이 개입할 필요 없이 스스로 작동합니다.
- 컨텍스트 인식(Context-aware): 각 애플리케이션의 특성과 환경 변화를 이해합니다.
- 즉시 사용 가능(Works out of the box): 수동 구성 없이 바로 사용할 수 있습니다.
이러한 능력들이 ScaleOps를 경쟁사들과 명확히 구분 짓는다고 회사는 강조합니다. 뉴욕에 본사를 둔 ScaleOps는 아도비(Adobe), 위즈(Wiz), 도큐사인(DocuSign), 세일즈포스(Salesforce), 쿠파(Coupa)와 같은 글로벌 엔터프라이즈 고객들을 대상으로 쿠버네티스 기반 인프라를 운영하는 대규모 조직 및 유럽과 인도 전역의 기업들을 포함한 광범위한 고객층을 확보하고 있습니다. 이 목록만 봐도 ScaleOps의 기술이 얼마나 높은 신뢰성과 가치를 인정받고 있는지 짐작할 수 있습니다.
폭발적인 성장과 미래: AI 인프라의 다음 단계는?
이번 시리즈 C 펀딩은 ScaleOps가 2024년 11월 시리즈 B 라운드에서 5,800만 달러를 유치한 지 약 1년 반 만에 이루어졌습니다. 당시에도 주목받았지만, 그 이후로 ScaleOps 팀은 클라우드 인프라를 관리하기 위한 자율형 솔루션에 대한 강력한 수요를 체감했다고 샤프리르 CEO는 말합니다. 아직 성장 초기 단계임에도 불구하고 회사의 총 투자 유치액은 약 2억 1천만 달러에 달합니다. 놀랍습니다.
ScaleOps는 전년 대비 450% 이상의 폭발적인 성장을 기록했으며, 지난 12개월 동안 인력을 3배로 늘렸고, 연말까지 다시 3배 이상 증원할 계획이라고 밝혔습니다. 이처럼 가파른 성장은 그들의 솔루션이 시장의 핵심적인 니즈를 정확히 짚어내고 있음을 방증합니다. AI가 컴퓨팅 수요를 폭발적으로 증가시키면서, 이러한 인프라를 효율적으로 관리하는 것은 기업의 생존과 직결되는 핵심 역량이 되고 있기 때문입니다.
개인적으로는 이러한 ScaleOps의 성장이 단순한 비용 절감을 넘어, 기업의 혁신 속도를 가속화하는 데 중요한 역할을 할 것이라고 생각합니다. 데브옵스 팀이 인프라 관리에 쏟는 시간과 노력을 최소화하면, 그들은 훨씬 더 중요한 애플리케이션 개발과 비즈니스 로직 구현에 집중할 수 있게 됩니다. 이는 궁극적으로 제품 출시 시간을 단축하고, 시장 변화에 더 민첩하게 대응할 수 있는 기반을 마련해 줄 것입니다. 마치 자율주행차가 운전자가 주행에 신경 쓰지 않고 다른 활동에 집중할 수 있게 하는 것처럼, 자율형 인프라 또한 기술 팀이 본연의 창의적인 업무에 몰두할 수 있는 환경을 조성해주는 것이죠.
새롭게 확보된 자본으로 ScaleOps는 신제품을 출시하고 플랫폼을 확장할 계획입니다. AI가 컴퓨팅 수요를 주도하는 상황에서 인프라 관리는 점점 더 중요해지고 있으며, ScaleOps는 완전히 자율적인 인프라를 향한 비전을 계속해서 구축해 나갈 것이라고 밝혔습니다. 이는 AI 시대의 인프라 관리 패러다임이 ‘수동 관리’에서 ‘지능형 자율 관리’로’ 완전히 전환될 것임을 강력하게 시사합니다. 미래에는 인프라가 마치 살아있는 유기체처럼 스스로 학습하고, 예측하며, 최적화되는 시대가 오지 않을까요? ScaleOps는 그 미래를 현실로 만드는 선두 주자 중 하나가 될 가능성이 높습니다.
출처
- 원문 제목: ScaleOps raises $130M to improve computing efficiency amid AI demand
- 출처: AI News & Artificial Intelligence | TechCrunch
- 원문 기사 보러가기
