AI 데이터센터의 숨겨진 전기 낭비, Niv-AI가 해결할 열쇠를 찾다!

인공지능(AI) 기술이 전 세계를 휩쓸면서 그 기반이 되는 데이터센터와 **그래픽 처리 장치(GPU)**의 중요성은 날마다 커지고 있습니다. AI 모델 학습과 운영에 필수적인 GPU는 엄청난 연산 능력을 자랑하지만, 동시에 막대한 전력을 소모합니다. 그런데 여기서 간과되었던 큰 문제가 있습니다. 바로 데이터센터가 전력망과의 관계를 효율적으로 관리하지 못해 발생하는 막대한 전력 낭비입니다. 최신 처리 기술이 전력 공급 및 관리 능력을 뛰어넘으면서, 많은 데이터센터들이 전력 부족을 피하기 위해 GPU 사용량을 최대 30%까지 줄여야 하는 상황에 처해 있습니다. 이는 비싼 GPU 투자 대비 수익률을 떨어뜨리는 주요 원인이 됩니다.

엔비디아(Nvidia)의 CEO 젠슨 황(Jensen Huang)조차 회사 연례 GTC 고객 컨퍼런스 기조연설에서 “이 AI 공장에서 너무나 많은 전력이 낭비되고 있다”며 “사용되지 않는 모든 와트는 곧 손실되는 수익이다”라고 강조했습니다. 이러한 배경 속에서, 인공지능 시대의 숨겨진 비효율성을 해결하기 위해 Niv-AI라는 스타트업이 조용히 베일 밖으로 나와 업계의 이목을 집중시키고 있습니다. 이스라엘 텔아비브에 본사를 둔 이 회사는 단 1,200만 달러의 시드 펀딩을 유치하며 GPU 전력 사용량을 정밀하게 측정하고, 이를 효율적으로 관리할 수 있는 도구를 개발하겠다는 포부를 밝혀, 데이터센터 운영의 패러다임을 바꿀 잠재력을 보여주고 있습니다.

Niv-AI의 혁신적인 GPU 전력 관리 솔루션

Niv-AI는 데이터센터의 가장 큰 골칫거리 중 하나인 GPU 전력 관리 문제를 해결하기 위해 근본적인 접근 방식을 채택했습니다. AI 모델을 훈련하고 실행하기 위해 수천 개의 GPU가 동시에 작동하는 프론티어 랩(frontier labs) 환경에서는 프로세서가 연산 작업과 다른 GPU와의 통신 작업을 전환할 때, 밀리초 단위로 급격한 전력 수요 급증(surge) 현상이 빈번하게 발생합니다. 이러한 전력 서지 현상은 데이터센터가 전력망으로부터 끌어오는 전력을 효율적으로 관리하는 것을 매우 어렵게 만듭니다. 충분한 전력을 확보하지 못하는 상황을 피하기 위해 데이터센터들은 일시적인 전력 저장을 위해 비용을 지불하거나, 더 나아가 GPU 사용량을 제한하는 ‘스로틀링(throttling)‘을 할 수밖에 없었습니다. 이 두 가지 방식 모두 값비싼 칩에 대한 투자 수익을 감소시키는 결과를 초래합니다. Niv-AI는 바로 이 지점에서 혁신을 시작합니다.

• 문제의 핵심: GPU 전력 서지 현상: AI 데이터센터는 수천 개의 GPU를 동시에 운영하며 복잡한 딥러닝 작업을 수행합니다. 이 과정에서 GPU들이 연산 작업을 전환하거나 서로 데이터를 주고받을 때, 밀리초(millisecond) 단위로 전력 수요가 급격하게 치솟는 전력 서지(power surge) 현상이 발생합니다. 이러한 예측 불가능한 전력 변동은 데이터센터가 전력망으로부터 안정적으로 전력을 공급받고 관리하는 것을 매우 어렵게 만듭니다. 기존에는 이러한 불안정성 때문에 데이터센터가 전력 공급 부족을 우려하여 GPU 사용량을 최대 30%까지 제한하거나, 값비싼 임시 전력 저장 장치에 의존해야 했습니다.

• Niv-AI의 등장과 펀딩: Niv-AI는 이스라엘 텔아비브에 기반을 둔 스타트업으로, 지난해 CEO인 **토머 티모르(Tomer Timor)**와 CTO인 **에드워드 키지스(Edward Kizis)**에 의해 설립되었습니다. 이들은 이 문제를 해결하기 위해 Glilot Capital, Grove Ventures, Arc VC, Encoded VC, Leap Forward, Aurora Capital Partners 등으로부터 1,200만 달러의 시드 펀딩을 유치하며 시장에 공식적으로 등장했습니다. 이 투자는 Niv-AI의 기술이 AI 인프라의 고질적인 문제를 해결할 잠재력을 인정받았다는 것을 의미합니다.

• 정밀 측정 센서 개발 및 배포: Niv-AI의 첫 번째 단계는 ‘무슨 일이 일어나고 있는지 이해하는 것’입니다. 이를 위해 Niv-AI는 랙(rack) 레벨 센서를 개발하고 있습니다. 이 센서는 GPU가 소모하는 전력을 밀리초 단위로 극도로 정밀하게 측정합니다. Niv-AI는 자사의 GPU와 협력사들의 GPU에 이 센서를 배포하여 실제 환경에서 데이터를 수집하고 있습니다. 이러한 정밀한 측정을 통해 비로소 GPU의 실제 전력 사용 패턴을 정확히 파악할 수 있게 됩니다.

• 딥러닝 작업별 전력 프로파일 분석: 센서를 통해 수집된 방대한 전력 사용 데이터는 다양한 딥러닝 작업이 어떤 특정한 전력 프로파일을 가지고 있는지 분석하는 데 활용됩니다. 예를 들어, 특정 종류의 신경망 훈련이나 추론 작업은 다른 작업과 다른 전력 소모 패턴을 보일 수 있습니다. 이러한 미묘한 차이를 이해함으로써, Niv-AI는 각 작업에 최적화된 전력 관리 기술을 개발하고, 이를 통해 데이터센터가 기존에 보유하고 있는 GPU 용량을 최대한 활용할 수 있는 완화(mitigation) 기술을 모색합니다.

• AI 기반 예측 및 동기화 시스템: 궁극적으로 Niv-AI 엔지니어들은 수집된 데이터를 바탕으로 인공지능 모델을 구축할 예정입니다. 이 AI 모델은 데이터센터 전반에 걸쳐 전력 부하를 예측하고 동기화하도록 훈련될 것입니다. 이는 데이터센터 엔지니어들을 위한 ‘코파일럿(copilot)’ 역할을 하여, 전력 서지 발생을 미리 예측하고 이에 대응하는 최적의 전력 스케줄링을 가능하게 합니다. 이러한 예측 기반 관리는 데이터센터가 전력 효율성을 극대화하고 안정성을 확보하는 데 결정적인 역할을 할 것입니다.

데이터센터와 전력망의 새로운 지능형 연결 고리

Niv-AI의 기술은 단순히 개별 데이터센터의 효율성을 높이는 것을 넘어, 더 넓은 산업적 의미를 가집니다. 현재 전 세계의 **하이퍼스케일러(hyperscalers)**들은 새로운 데이터센터를 건설하는 데 있어 토지 사용 문제와 공급망 병목 현상 등 심각한 어려움에 직면해 있습니다. 이러한 상황에서 Niv-AI가 제시하는 솔루션은 기존 데이터센터의 용량을 훨씬 더 효율적으로 사용할 수 있게 함으로써, 당면한 문제에 대한 매력적인 대안이 될 수 있습니다. 이는 미래 데이터센터 인프라 구축 방향에 중요한 시사점을 제공합니다.

• 데이터센터 건설 난관 해소 기여: 현재 많은 기업이 AI 수요 증가에 맞춰 데이터센터를 증설하려 하지만, 새로운 부지를 확보하는 데 어려움을 겪고 있으며, 서버 랙, 냉각 시스템 등 필요한 장비의 공급망 문제 또한 심각합니다. Niv-AI의 기술은 기존 데이터센터의 GPU 용량을 30%까지 잠금 해제할 잠재력을 제공합니다. 이는 새로운 데이터센터를 건설하지 않고도 기존 인프라의 효율을 극대화하여 AI 처리 능력을 확장할 수 있게 해, 토지 및 공급망 문제에 직면한 기업들에게 매력적인 대안이 될 수 있습니다.

• 투자 수익률(ROI) 극대화: 값비싼 GPU 칩에 대한 투자는 AI 시대의 핵심이지만, 전력 관리 문제로 인해 그 잠재력을 100% 발휘하지 못하는 경우가 많았습니다. 스로틀링이나 임시 전력 저장 비용은 이러한 투자의 효율성을 저해하는 요소였습니다. Niv-AI의 솔루션은 GPU의 전력 사용을 최적화하여 낭비되는 전력을 줄이고, 결과적으로 데이터센터가 이미 지불하고 있는 전력 비용으로 더 많은 GPU를 가동할 수 있도록 돕습니다. 이는 GPU 투자 대비 수익률을 크게 향상시키는 효과로 이어집니다.

• 전력망과의 책임감 있는 관계 구축: Niv-AI의 CEO 토머 티모르는 “전력망은 특정 시간에 데이터센터가 너무 많은 전력을 소비하는 것을 실제로 두려워한다”고 언급했습니다. Niv-AI의 궁극적인 목표는 데이터센터와 전력망(electrical grid) 사이의 누락된 **‘지능형 레이어(intelligence layer)‘**를 구축하는 것입니다. 이 레이어는 데이터센터가 전력을 더 효율적으로 사용하도록 도울 뿐만 아니라, 전력망에 부담을 주지 않는 **‘책임감 있는 전력 프로파일’**을 생성하여 상호작용의 균형을 맞춥니다. 이를 통해 전력망의 안정성을 유지하면서 데이터센터의 운영 효율성을 높이는 ‘윈-윈(win-win)’ 솔루션을 제공합니다.

• 지속 가능한 AI 인프라의 미래: 오늘날 AI 데이터센터는 막대한 전력 소모로 인해 환경 문제에 대한 우려를 낳고 있습니다. Niv-AI의 기술은 단순히 비용 절감과 효율성 증대를 넘어, 지속 가능한 AI 인프라 구축에도 기여할 수 있습니다. 전력 낭비를 최소화하고 전력 사용을 최적화함으로써, 데이터센터의 탄소 발자국을 줄이고 전반적인 에너지 효율을 개선할 수 있습니다. 이는 환경 보호와 기업의 사회적 책임을 동시에 만족시키는 중요한 진전으로 평가될 수 있습니다.

AI 시대 데이터센터 운영의 패러다임 변화와 산업적 파급 효과

Niv-AI의 등장은 단순히 한 스타트업의 성공 스토리를 넘어, AI 시대 데이터센터 운영 방식에 근본적인 변화를 예고하고 있습니다. Grove Ventures의 파트너이자 Niv-AI 이사회 멤버인 리오르 핸들스만(Lior Handelsman)이 “우리는 지금과 같은 방식으로 데이터센터를 계속 구축할 수 없다”고 말한 것은 현재 AI 인프라가 직면한 한계를 명확히 보여줍니다. Niv-AI의 솔루션은 이러한 한계를 극복하고 미래 데이터센터가 나아가야 할 방향을 제시하는 중요한 이정표가 될 것입니다.

이 기술은 특히 AI 모델의 규모가 점점 커지고 요구하는 연산량이 기하급수적으로 증가하는 현 시점에서 매우 시의적절합니다. 더 큰 모델은 더 많은 GPU를 필요로 하고, 이는 곧 더 많은 전력 소모와 더 잦은 전력 서지 현상을 의미합니다. Niv-AI는 이러한 문제를 단순히 사후 처리하는 것이 아니라, 밀리초 단위의 정밀 측정과 AI 기반 예측을 통해 능동적으로 관리하려 합니다. 이는 데이터센터 운영의 예측 불가능성을 줄이고, 안정성과 효율성을 동시에 확보할 수 있는 길을 열어줍니다. 결과적으로 데이터센터 운영 비용을 절감하고, AI 연구 및 개발 속도를 가속화하는 데 크게 기여할 수 있습니다. 기존에 전력 문제로 인해 묶여있던 GPU 용량을 해제함으로써, 기업들은 추가 투자 없이도 더 많은 AI 작업을 수행할 수 있게 될 것입니다.

미래 데이터센터의 청사진과 Niv-AI의 역할

Niv-AI는 향후 6~8개월 내에 미국 내 소수의 데이터센터에서 운영 시스템을 가동할 것으로 예상하고 있습니다. 이는 Niv-AI의 기술이 빠르게 상업화 단계에 접어들고 있음을 의미하며, 실제 산업 현장에서 그 효과를 검증받을 기회를 가지게 됩니다. CEO 토머 티모르가 말했듯이, 이 문제는 **“두 가닥 밧줄의 문제”**와 같습니다. 한편으로는 데이터센터가 GPU를 더 많이 활용하고 이미 지불하고 있는 전력을 최대한 활용하도록 돕는 것이고, 다른 한편으로는 데이터센터와 전력망 사이에 훨씬 더 책임감 있는 전력 프로파일을 생성하는 것입니다.

Niv-AI는 이러한 양면적 과제를 동시에 해결하며, AI 인프라의 새로운 표준을 제시할 잠재력을 가지고 있습니다. 그들의 궁극적인 비전은 데이터센터와 전력망 사이의 **‘지능형 연결 고리’**를 형성하여, AI 시대에 필수적인 에너지 효율성과 지속 가능성을 동시에 달성하는 것입니다. 이 기술이 성공적으로 정착된다면, 미래의 데이터센터는 단순히 거대한 전력 소비 시설이 아닌, 전력망과 유기적으로 소통하며 최적의 효율을 추구하는 **‘스마트 전력 소비자’**로 진화할 것입니다. Niv-AI의 발걸음은 AI 시대를 위한 지속 가능한 인프라 구축에 중요한 첫걸음이 될 것으로 기대됩니다.

---

출처

• 원문 제목: Niv-AI exits stealth to wring more power performance out of GPUs
• 출처: AI News & Artificial Intelligence | TechCrunch
• 원문 기사 보러가기