AI 인프라 투자의 판도가 바뀌고 있다: GPU 시대의 종말인가, 아니면 새로운 시작인가?
Published Jul 18, 2026
최근 몇 년간 인공지능(AI) 산업은 그야말로 폭발적인 성장세를 보여왔습니다. 특히 거대 언어 모델(LLM)의 등장과 확산은 컴퓨팅 파워, 그중에서도 GPU(그래픽 처리 장치)에 대한 끝없는 수요를 불러일으켰죠. 엔비디아의 GPU는 AI 훈련의 핵심 도구로 자리 잡았고, 기업들은 이 “디지털 금”을 확보하기 위해 막대한 자금을 쏟아붓고 있습니다. GPU 확보는 곧 AI 경쟁력과 직결되는 듯 보였고, 시장은 말 그대로 GPU 쟁탈전 양상을 띠었습니다. 하지만 솔직히 말해서, 이런 무한정의 GPU 확보 경쟁이 언제까지 지속될 수 있을까요? 천문학적인 비용과 에너지 소모는 분명 언젠가는 한계에 부딪힐 것이라 생각했습니다.
그리고 이제, 그 변화의 신호탄이 터진 듯합니다. 최근 AI 추론 클라우드 스타트업인 제너럴 컴퓨트(General Compute)가 기술 투자 회사인 어퍼90(Upper90)으로부터 4억 달러 규모의 대출을 확보했다는 소식은 AI 인프라 시장에 새로운 전환점을 제시합니다. 이 대출은 놀랍게도 전통적인 GPU가 아닌, 추론(inference) 전용 칩을 담보로 한 것으로 알려졌습니다. 이는 AI 인프라 투자 흐름이 훈련 중심의 고비용 GPU에서 효율적인 추론 칩으로 옮겨가고 있음을 강력히 시사하는 첫 신호탄이라 할 수 있습니다.
AI 인프라 시장의 새로운 지평: 추론 칩의 부상
지금까지 AI 개발의 초점은 모델을 훈련시키는 데 있었습니다. 수많은 데이터를 먹여 모델을 학습시키고, 더 크고 복잡한 모델을 만드는 데 막대한 컴퓨팅 자원이 투입되었죠. 이때 필요한 것이 바로 엔비디아의 H100과 같은 고성능 GPU입니다. 하지만 모델이 일단 훈련되고 나면, 이를 실제 사용자에게 서비스하기 위해서는 ‘추론’ 과정이 필요합니다. 즉, 학습된 모델을 이용해 새로운 데이터를 처리하고 결과를 도출하는 과정이죠. 이 추론 과정은 훈련만큼 막대한 병렬 컴퓨팅 파워를 요구하지는 않지만, 대량의 요청을 빠르고 효율적으로 처리해야 합니다.
제너럴 컴퓨트가 주목한 지점이 바로 여기입니다. CEO 핀 푸클로스키(Finn Puklowski)와 CTO 제이슨 구디슨(Jason Goodison)이 설립한 이 회사는 인텔이 지원하는 칩 제조업체 삼바노바(SambaNova)의 SN50 실리콘을 기반으로 한 추론 전용 ‘네오클라우드’를 구축하고 있습니다. 네오클라우드는 AWS나 Azure 같은 기존 하이퍼스케일러의 범용 인프라와 달리, AI 워크로드를 위해 특별히 설계된 클라우드입니다.
삼바노바의 SN50 칩은 추론에 최적화되어 있습니다. 이 칩들은 전력 효율성이 뛰어나고, 고비용의 수냉 시스템이 필요 없다는 장점이 있습니다. 이는 곧 다양한 데이터 센터에 훨씬 빠르게 배치될 수 있음을 의미합니다. 제너럴 컴퓨트는 자신들의 새로운 칩이 GPU 기반 클라우드보다 16배 빠른 추론 속도를 제공할 것이라고 주장하고 있습니다. 사실 이건 정말 놀라운 수치 아닌가요? 이는 단순히 ‘조금 더 좋은’ 수준을 넘어, 추론 인프라의 판도를 완전히 바꿀 잠재력을 가진 변화라 할 수 있습니다.
이러한 움직임은 시장이 AI 도구와 토큰 가격에 대한 우려에 대응하여, 프론티어 랩의 최신 LLM보다 오픈소스 모델을 더 저렴하게 실행할 수 있는 인프라로 눈을 돌리고 있다는 강력한 신호입니다. 비싼 GPU로 무장한 LLM을 모든 기업이 감당할 수 없다는 현실적인 인식이 반영된 결과이기도 하고요.
자본은 왜 추론 칩에 주목하는가?
어퍼90의 공동 창업자이자 CEO인 빌리 리비(Billy Libby)는 과거 골드만삭스에서 정량 트레이더로 일했던 인물입니다. 그는 이미 2021년에 에너지 중심의 데이터 센터 스타트업 크루소(Crusoe)의 GPU 구매를 파이낸싱하면서 첨단 칩의 가치를 담보로 한 최초의 대출을 성사시킨 경험이 있습니다. 당시 전통적인 대출기관들은 GPU 감가상각에 대한 위험과 불확실성 때문에 이러한 거래를 회피했지만, 코어위브(CoreWeave)가 칩 담보 대출을 비즈니스 모델로 만들고 이를 기반으로 블록버스터급 IPO를 달성하면서 이러한 종류의 자금 조달은 일반화되었습니다.
리비는 테크크런치와의 인터뷰에서 “우리가 엔비디아 GPU에 최초로 자금을 조달했을 때 시장은 비효율적이었다”며, “우리는 초기 참여자로서 무언가를 만들어내고 그 위험에 대한 보상을 받을 수 있었다”고 말했습니다. 그런데 이제는 GPU가 비교적 잘 이해되고 ‘과잉 구매’되었을 수 있다고 판단하고, 어퍼90은 AI 붐의 다음 물결을 타기 위해 제너럴 컴퓨트와 같은 회사로 눈을 돌리고 있는 것입니다. 그의 말에 따르면, “우리는 오픈소스 모델이 중요해질 것이라고 생각하며, 작년에 추론 분야의 플레이어를 찾았다. 모든 사람이 슈퍼컴퓨터를 필요로 하는 것은 아니지만, 모두가 추론과 AI를 필요로 한다.”는 것이죠.
필자의 분석: 이 부분에서 주목할 점은, 어퍼90의 전략이 단순히 새로운 기술을 좇는 것을 넘어 자본 효율성과 시장 차익거래의 관점에서 움직이고 있다는 것입니다. GPU 희소성이 극대화되었던 시기에 과감히 투자하여 높은 수익을 창출했듯이, 이제는 GPU 시장이 포화 상태에 가까워지자 다음 ‘비효율적인’ 시장, 즉 ‘추론 전용 칩’ 시장으로 눈을 돌린 것으로 보입니다. 이는 AI 시장이 기술의 발전을 넘어 자본의 논리로 효율적인 지점을 찾아가는, 한층 더 성숙한 단계로 진입하고 있음을 시사합니다. 초기 단계의 기술 주도 시장에서, 이제는 수익성과 효율성을 고려한 비즈니스 모델이 핵심으로 떠오르고 있는 것이죠.
이러한 투자 철학은 오픈소스 모델에 대한 접근을 제공하는 오픈라우터(OpenRouter)와 파이어웍스(Fireworks) 같은 회사들이 막대한 가치로 새로운 투자를 유치하고, 키미(Kimi)의 K3와 같은 새로운 모델들이 앤트로픽(Anthropic)과 OpenAI의 최신 모델들과 코딩 벤치마크에서 경쟁할 수 있음을 입증하면서 더욱 강력해지고 있습니다. 그록(Groq)과 세레브라스(Cerebras) 같은 새로운 칩 제조업체들도 인수자들과 공개 시장 모두에서 관심을 끌고 있는 상황이고요.
엔비디아 독점 시대의 균열?
제너럴 컴퓨트가 엔비디아 생태계 외부의 칩에 접근할 수 있다는 사실은 매우 중요한 의미를 가집니다. 또 다른 AI 인프라 회사인 텐서웨이브(TensorWave)도 AMD와의 파트너십을 통해 비슷한 도전을 하고 있습니다. 엔비디아 외의 대안이 더 많이 등장할수록, 엔비디아 계약에 묶여있지 않은 컴퓨팅 제공업체들은 비용 효율적인 추론 서비스를 제공하는 데 이점을 가질 수 있습니다.
푸클로스키는 “놀라운 [총 소유 비용]을 가지거나 엔비디아보다 훨씬 빠르게 작동할 수 있는 칩들이 시장에 나오기 시작했지만, 이를 구매하는 곳은 많지 않다”고 말했습니다. 그리고 “어퍼90과 함께함으로써, 이것은 단순히 ‘멋진 스타트업이 컴퓨팅 구매를 위한 돈을 좀 얻었다’는 것을 넘어선다. 이것은 자본이 스스로 조직화되고 있으며 엔비디아의 독점적 지배가 파편화되는 첫 신호다.” 라고 덧붙였습니다.
필자의 분석: 이 발언은 AI 하드웨어 시장의 미래를 예측하는 데 있어 매우 핵심적인 메시지를 던집니다. 개인적으로는 이 상황이 엔비디아에게 중요한 전환점이 될 것이라고 생각합니다. 엔비디아는 압도적인 기술력으로 AI 훈련 시장을 장악했지만, 추론 시장에서는 효율성과 비용이라는 다른 척도가 중요해지고 있습니다. 제너럴 컴퓨트와 같은 기업들이 비(非)엔비디아 칩으로 비용 효율적인 추론 솔루션을 제공하기 시작하면, 장기적으로 엔비디아의 시장 지배력에 균열이 갈 가능성이 높습니다. 특히 오픈소스 모델의 성장은 더 많은 기업과 개발자들이 값비싼 엔비디아 GPU 없이도 AI를 활용할 수 있는 길을 열어줄 것이며, 이는 AI 기술의 민주화를 가속화할 것입니다. 엔비디아가 단순히 최고 성능의 칩을 넘어, 추론 시장의 다양한 요구를 충족할 수 있는 포괄적인 솔루션과 에코시스템을 어떻게 구축해 나갈지가 향후 관건이 될 것입니다.
결론적으로, 이번 4억 달러 규모의 칩 담보 대출 계약은 단순히 한 스타트업의 자금 조달 성공을 넘어섭니다. 이는 AI 인프라 시장이 훈련 중심의 고비용 GPU에서 벗어나, 효율성과 접근성을 최우선으로 하는 추론 전용 칩과 오픈소스 모델 기반의 인프라로 진화하고 있음을 알리는 강력한 신호입니다. AI 산업은 이제 다음 단계로 나아가고 있으며, 이 변화는 앞으로 우리가 AI를 개발하고 활용하는 방식에 막대한 영향을 미 미칠 것입니다. 어쩌면 GPU 시대의 종말이 아닌, 보다 다양하고 효율적인 AI 인프라의 새로운 시대가 열리고 있는지도 모릅니다.
출처
- 원문 제목: Why the first GPU financiers are turning to inference chips in a $400 million deal
- 출처: AI News & Artificial Intelligence | TechCrunch
- 원문 기사 보러가기
