AI 칩 시장, 엔비디아 독점의 끝이 보일까요?

여러분은 지금 어떤 AI 서비스를 사용하고 계신가요? ChatGPT, Claude, 아니면 Stable Diffusion 같은 이미지 생성 AI? 이 모든 AI 모델들이 우리의 질문에 답하고 이미지를 만들어내는 과정, 즉 추론(Inference) 과정에는 엄청난 양의 연산 능력이 필요하다는 것을 알고 계셨을 겁니다. 그리고 현재 이 연산 능력의 대부분은 엔비디아의 GPU에 의존하고 있죠. 과연 이러한 GPU 만능주의가 계속될 수 있을까요? 아니면 엔비디아의 아성에 도전할 새로운 혁신이 등장할 시점일까요?

최근 AI 칩 시장에서 심상치 않은 움직임을 보이는 스타트업이 있습니다. 바로 하버드 중퇴생 세 명이 설립한 Etched입니다. 이들은 설립 2년여 만에 Sequoia, Andreessen Horowitz, SK Hynix 등 거물 투자자들로부터 3억 달러의 시리즈 C 투자를 유치하며 무려 **103억 달러(한화 약 14조 원)**라는 엄청난 기업 가치를 기록했습니다. 불과 7개월 전 50억 달러였던 기업 가치가 두 배 이상 뛰어오른 것이죠. 이는 Sequoia가 주도한 시리즈 C 투자 중 역대 최고 가치라고 합니다. 놀랍지 않습니까? 이들이 이토록 뜨거운 관심을 받는 이유는 무엇일까요? 바로 ‘GPU 없이’ 모든 AI 모델의 추론 속도를 획기적으로 높이는 독자적인 칩과 메모리 기술을 개발했기 때문입니다.

엔비디아의 GPU, 그 한계를 넘어서려는 시도

현재 AI 산업의 성장은 엔비디아의 GPU가 없었다면 불가능했을 것입니다. 특히 AI 모델을 학습시키는 훈련(Training) 단계에서는 병렬 연산에 최적화된 GPU의 성능이 절대적이죠. 하지만 모델이 학습을 마친 후 실제 사용자의 요청에 응답하는 추론(Inference) 단계에서는 다릅니다. 추론은 훈련보다 더 많은 트랜잭션이 발생하고, 실시간 응답이 중요하며, 비용 효율성이 핵심 과제로 떠오릅니다. 바로 이 지점에서 Etched는 혁신적인 접근 방식을 제시합니다.

Etched의 공동 설립자이자 COO인 로버트 와첸(Robert Wachen)은 추론 과정을 “프리필(Prefill)과 디코드(Decode)의 두 단계로 이루어진다”고 설명합니다.

• 프리필 단계(Prefill Phase): 사용자의 프롬프트와 맥락을 이해하는 단계입니다. 수학적으로 복잡하고 상당한 연산 집약적입니다. GPU도 이 단계에서는 강력한 성능을 보여주지만, 에너지를 많이 소모하고 발열이 심하다는 단점이 있습니다.
• 디코드 단계(Decode Phase): 출력 토큰, 즉 사용자가 보게 될 실제 답변을 생성하는 단계입니다. 이 단계는 프리필만큼 연산 집약적이지는 않지만, 엄청난 양의 메모리 대역폭을 필요로 합니다.

Etched는 이 두 단계의 특성을 파악하고, 각 단계에 최적화된 새로운 하드웨어 컴포넌트를 설계했습니다. 이것이 바로 그들의 핵심 기술 경쟁력입니다.

Etched의 핵심 기술: 저전압 추론과 클러스터 스케일 메모리

Etched의 기술은 단순히 GPU를 대체하는 것을 넘어, AI 추론의 근본적인 효율성을 재정의하려 합니다.

첫째, 프리필(Prefill) 칩입니다. Etched는 이 칩이 다른 어떤 AI 칩보다 “극적으로” 빠르게 작동한다고 주장합니다. 비결은 바로 “저전압 추론(low-voltage inference)” 기술입니다. 칩을 더 낮은 전압에서 작동시킴으로써 발열을 현저히 줄일 수 있고, 이는 다시 더 많은 트랜지스터를 집적할 수 있게 하여 연산 밀도를 높이는 결과로 이어집니다. 고성능 칩의 고질적인 문제인 발열과 전력 소모를 혁신적으로 해결하며, 프리필 단계의 복잡한 연산을 훨씬 효율적으로 처리할 수 있게 된 것이죠.

둘째, 디코드(Decode)를 위한 새로운 메모리 및 인터커넥트 기술, 즉 **클러스터 스케일 메모리(cluster-scale memory)**입니다. 와첸은 이 기술이 “매우 빠르고 낮은 지연 시간으로 여러 칩이 함께 연결되어 공유 메모리 풀을 사용할 수 있게 한다”고 설명합니다. 이는 대규모 언어 모델이 답변을 생성할 때 필수적인 방대한 메모리 접근을 훨씬 효율적으로 만들어줍니다. 결과적으로 Etched는 높은 속도는 물론, 훨씬 낮은 비용으로 AI 추론을 가능하게 한다고 약속하고 있습니다.

초기에 Etched는 ‘특정 LLM만 구동 가능한 칩’이라는 오해에 시달렸습니다. 하지만 와첸은 자신들의 시스템이 DeepSeek, Qwen 같은 Mixture of Experts (MoE) 모델이나 Mamba와 같은 비(非)트랜스포머 아키텍처를 포함해 어떤 AI 모델이든 구동할 수 있다고 강조했습니다. 특정 모델에 종속되지 않고 범용성을 갖췄다는 점은 시장의 확장 가능성 면에서 매우 중요합니다. 솔직히 말해서, 이 지점은 GPU를 벗어나 AI 칩 시장에서 성공하기 위한 필수 조건이라 생각합니다.

의심의 시선을 넘어서 얻어낸 거물들의 지지

Etched는 2022년 설립 당시, 트랜스포머 아키텍처에 특화된 칩을 만드는 아이디어가 ‘정신 나간 발상’으로 여겨지던 시기에 시작했습니다. 엔비디아 외에는 아무도 AI의 특수한 컴퓨팅 니즈를 제대로 이해하지 못하던 때였죠. 심지어 TSMC에서 첫 번째 칩 배치가 성공적으로 제조되었다고 발표했을 때조차 회의적인 시선은 사라지지 않았습니다.

이러한 의심을 불식시킨 것은 바로 실제 하드웨어의 성능이었습니다. Etched는 투자자와 초기 고객에게만 시스템 접근을 허용하며 비공개 데모를 진행했습니다. 그리고 이 데모를 통해 피터 틸, 안드레이 카르파티(Anthropic), 노암 브라운(OpenAI), 제프리 힌튼 등 AI 분야의 거물들은 물론, 이번 투자 라운드에 참여한 모든 투자자들이 Etched의 하드웨어에 열광적인 반응을 보였다고 합니다. 업계 최고의 전문가들이 직접 경험하고 인정한 것이죠. 개인적으로는 이러한 ‘선구자들의 실질적인 검증’이야말로 Etched의 기술적 우수성을 가장 강력하게 증명하는 대목이라고 생각합니다. 단순히 재무적 투자자를 넘어 기술적 통찰력을 가진 이들의 지지는 단순한 ‘베팅’이 아니라 ‘확신’에 가깝기 때문입니다.

바닥에서 10MW 데이터 센터까지: 하버드 중퇴생들의 끈기

Etched의 성공 스토리는 기술력만큼이나 창업자들의 끈기와 비전이 돋보입니다. 세 명의 창업자는 하버드를 중퇴하고 이 사업에 뛰어들었을 때, 자금 조달이나 인력 채용에 대해 아무것도 몰랐다고 와첸은 고백합니다. 심지어 초기에는 사무실이나 아파트도 없이 친구 집 마루에서 담요 대신 수건을 덮고 자야 할 정도였다고 하니, 그들의 시작은 처절할 만큼 맨바닥이었습니다.

초기 칩 설계 툴을 구동하기 위한 서버를 초기 직원의 차고에 설치하고, 문제가 생길 때마다 그의 아내가 재부팅 버튼을 눌러주는 에피소드는 이들이 얼마나 열악한 환경에서 시작했는지 보여줍니다. 하지만 이들은 의심하는 사람들과 어려운 환경에도 굴하지 않고 계속 나아갔습니다. 그 결과, 이제 Etched는 400명의 직원이 활발하게 일하는 사무실과 2메가와트(MW) 규모의 데이터 센터를 운영하고 있습니다. 심지어 최근에는 8만 평방피트(약 2,240평) 규모의 10MW급 새 시설을 밀피타스에 오픈하며 대규모 AI 컴퓨팅 인프라를 구축하고 있습니다.

와첸은 “우리는 오늘날 우리의 연구실에서 전 세계 최대 AI 기업들과 협력하며 토큰을 실행하고 있습니다”라고 말합니다. 또한, 농담 삼아 “이제 담요도 있고, 매트리스도 있고, 베개도 여러 개 있다”고 말하는 그의 모습에서 지난 고난의 세월과 현재의 성취를 엿볼 수 있습니다. “정말로 가능하다고 생각하고 오랫동안 노력하면 해낼 수 있다”는 그의 말은 기술 스타트업을 꿈꾸는 많은 이들에게 큰 울림을 줄 것입니다.

분석과 전망: AI 하드웨어 생태계의 새로운 변곡점?

Etched의 등장은 단순히 또 하나의 AI 칩 스타트업을 넘어, AI 하드웨어 생태계에 중요한 변곡점이 될 가능성이 높습니다.

• 엔비디아 의존도 완화 가능성: 엔비디아 GPU는 훈련과 추론 모두에서 강력하지만, 막대한 비용과 공급 제약이 따릅니다. Etched는 특히 추론 효율성에 집중하여 GPU의 대안을 제시함으로써, AI 서비스 운영 비용을 낮추고 더 넓은 범위의 기업들이 AI를 활용할 수 있도록 도울 수 있습니다. 이는 AI 기술의 민주화에 기여할 수 있는 중요한 부분입니다.
• AI 모델 경량화 및 엣지 AI 확산: 저전압 추론 기술은 전력 소모를 줄여 효율성을 극대화합니다. 이는 데이터 센터뿐만 아니라, IoT 기기나 스마트폰과 같은 엣지 디바이스에서도 고성능 AI 추론을 가능하게 하는 초석이 될 수 있습니다.
• 하드웨어-소프트웨어 공동 최적화의 중요성: Etched의 성공은 특정 AI 워크로드(추론)에 맞춰 하드웨어를 처음부터 재설계하는 것이 얼마나 큰 효율을 가져올 수 있는지 보여줍니다. 이는 범용 GPU로는 도달하기 어려운 성능의 벽을 넘는 핵심 전략이며, 앞으로 더 많은 맞춤형 AI 칩 개발을 촉진할 것입니다.
• 향후 과제: 물론 Etched 앞에는 아직 갈 길이 멉니다. 대규모 양산 체계 구축, 글로벌 공급망 안정화, 그리고 이미 엔비디아에 익숙해진 고객들을 설득하여 시장 점유율을 확대하는 것이 주요 과제입니다. 하지만 이미 10억 달러 상당의 주문을 받았고, 대형 데이터 센터 인프라를 확장하고 있다는 점에서 매우 긍정적인 신호로 볼 수 있습니다.

Etched는 GPU를 사용하지 않고도 AI 추론의 미래를 새롭게 써내려갈 잠재력을 증명했습니다. 하버드 중퇴생들의 대담한 비전과 끈기, 그리고 그들의 기술이 AI 하드웨어 시장의 판도를 어떻게 바꿀지 귀추가 주목됩니다. 이제 AI 칩 시장에서 엔비디아의 독주는 끝이 보이고, 더 다양하고 효율적인 솔루션들이 경쟁하는 새로운 시대가 열릴 준비를 하고 있는지도 모릅니다.

---

출처

• 원문 제목: AI chip startup Etched defies skeptics, hits $10.3B valuation from big-name investors
• 출처: AI News & Artificial Intelligence | TechCrunch
• 원문 기사 보러가기