AI, 드디어 스마트폰 속으로: '작지만 강한' LLM, 패러다임을 바꿀까요?

“여러분은 손가락 끝에서 지능을 갖게 될 것입니다. 이미 구매한 기기에서 실행되므로 무료가 될 것이며, 클라우드로 데이터를 보낼 필요가 없으니 프라이빗할 것입니다.” 데이터브릭스(Databricks)의 공동 설립자이자 버클리 스카이 컴퓨팅 랩(Berkeley’s Sky Computing Lab)의 이사인 이온 스토이카(Ion Stoica) 고문의 이 발언은 단순한 미래 예측을 넘어, AI의 본질적인 활용 방식을 뒤흔들 핵심 변화를 암시합니다. 이 변화의 중심에는 바로 스타트업 PrismML이 있습니다. 이들은 기존의 ‘거대해야만 한다’는 LLM의 통념에 정면으로 도전하며, 고성능 AI를 우리 손 안으로 가져오고 있습니다.

LLM, 거대해야만 할까요? PrismML의 도발적인 질문

그동안 인공지능 분야, 특히 대규모 언어 모델(LLM)의 발전은 주로 모델의 규모와 매개변수 수에 집중되어 왔습니다. 더 많은 데이터, 더 많은 매개변수를 통해 더욱 정교하고 강력한 성능을 구현한다는 것이 정설처럼 여겨졌죠. OpenAI의 GPT 시리즈, Google의 Gemini, Anthropic의 Claude 등 주요 플레이어들은 수천억 개에서 조 단위의 매개변수를 가진 모델들을 선보이며 AI 역량을 과시해왔습니다. 하지만 이러한 거대 모델들은 치명적인 단점을 안고 있습니다. 바로 막대한 연산 자원과 에너지 소모, 그리고 클라우드 기반 서비스에 대한 의존성입니다.

PrismML은 이러한 업계의 주류 흐름에 “과연 그래야만 할까요?”라는 도발적인 질문을 던집니다. 이들은 **“유능하고 고성능이며 추론이 가능한 대규모 언어 모델이 실제로 거대할 필요는 없다”**는 대담한 가설에 모든 것을 걸고 있습니다. 칼텍(Caltech)의 압축 기술 전문가이자 이 스타트업의 CEO인 바박 하시비(Babak Hassibi) 교수가 이끄는 PrismML은, 바로 이 가설을 증명하기 위한 기술을 개발하고 있습니다. 그들의 목표는 PC와 심지어 스마트폰에서도 구동될 수 있을 만큼 작은 추론 모델을 만드는 것입니다. 솔직히 말해서, 이런 아이디어는 처음 들었을 때 다소 비현실적으로 들릴 수도 있습니다. 거대한 모델이 작은 기기에서 돌아간다? 정말 가능할까요?

최근 PrismML은 그 가능성을 현실로 보여주는 최신 모델, Bonsai 2 27B를 공개했습니다. 이 모델은 널리 사용되는 알리바바(Alibaba)의 오픈소스 모델인 Qwen3.8 27B를 5.9 GB라는 놀랍도록 작은 용량으로 압축하는 데 성공했습니다. 이는 원본 대비 9배에서 10배에 달하는 메모리 절감 효과를 의미합니다. 5.9GB라면 일반 PC는 물론, 고성능 스마트폰에도 충분히 탑재될 수 있는 크기입니다. 심지어 애플(Apple)과의 협상 소문까지 돌고 있다는 사실은, 이들의 기술이 단순한 학술적 성과를 넘어 실제 산업적 파급력을 가질 수 있음을 강력히 시사합니다.

성능은 그대로, 크기만 10분의 1로: 마법 같은 압축 기술의 비밀

LLM 압축 기술을 연구하는 회사가 PrismML만 있는 것은 아닙니다. 스페인의 도노스티아 국제 물리학 센터(Donostia International Physics Center)의 저명한 교수가 설립한 Multiverse Computing과 같은 회사들도 이 분야에서 활발하게 활동하고 있으며, 상당한 투자를 유치하기도 했습니다. 하지만 하시비 CEO는 PrismML의 압축 기술이 “원본 모델과 비교하여 사실상 성능 손실이 없다”는 점에서 독보적이라고 강조합니다.

이것이 바로 PrismML 기술의 핵심이자 가장 놀라운 부분입니다. Bonsai 2는 Qwen의 총 벤치마크 점수에서 무려 **98%**에 달하는 성능을 유지합니다. 몇 달 전 출시된 첫 번째 Bonsai 모델이 95%의 일치율을 보였던 것과 비교하면, 불과 몇 달 만에 3%p가 개선된 수치입니다. 이 첫 번째 모델은 이미 1,100만 회 이상 다운로드되었고, 더 작은 모델들은 추가로 260만 회 이상 다운로드되며 기술의 효용성과 시장의 관심을 입증하고 있습니다.

그렇다면 PrismML은 어떻게 이러한 마법 같은 압축률과 성능 유지라는 두 마리 토끼를 잡았을까요? 그 비밀은 모델을 구성하는 **‘가중치(weights)‘**를 축소하는 방식에 있습니다. 가중치는 모델이 학습 과정에서 배우고 저장하는 정보를 본질적으로 담고 있는데, 일반적으로 각 가중치는 16비트의 정보를 필요로 합니다. PrismML의 접근 방식은 이를 **‘삼진(ternary) 가중치’**라고 부르며, 각 가중치를 +1, -1, 또는 0의 세 가지 값으로 단순화합니다. 각 가중치에 저장해야 할 값이 훨씬 적어지니, 모델이 차지하는 공간이 극적으로 줄어드는 것이죠. 이 부분에서 주목할 점은, 이러한 과감한 단순화에도 불구하고 핵심적인 지능이 거의 손실되지 않는다는 점입니다.

물론, 하시비 CEO는 벤치마크 성능 100%를 달성하는 것은 현실적으로 어려울 것이며, 압축은 언제나 어느 정도의 영향을 미칠 것이라고 솔직히 인정합니다. 하지만 그는 “사실 벤치마크의 완벽한 일치는 다소 학술적인 부분”이라고 덧붙입니다. 왜냐하면 압축되지 않은 LLM 자체도 완벽하게 정확하지 않으며, 벤치마크 또한 실제 작업을 완벽하게 반영하지 않기 때문에, 2% 정도의 성능 저하가 실제 사용 환경에서 모델의 성능에 의미 있는 영향을 미 미치지는 않을 것이라는 설명입니다. (게다가 모델이 실행되는 ‘하네스(harness)‘와 같은 주변 소프트웨어도 정확성에 큰 영향을 미치기도 합니다.) 개인적으로는 이 분석이 매우 현실적이라고 생각합니다. 미미한 벤치마크 차이보다는 실제 사용자 경험과 활용 가능성이 훨씬 중요하기 때문이죠.

PrismML의 다음 목표는 이 압축 기술을 훨씬 더 큰 모델에 적용하는 것입니다. 하시비 CEO는 “몇 달 안에 출시될 다음 모델들은 수천억 개의 매개변수 범위에 있을 것이며, 거기서는 지능을 유지하기가 더 쉬울 것으로 예상한다”고 밝혔습니다. 모델 크기가 커질수록 “지능 손실 없이 압축할 수 있는 여지가 더 많아진다”는 그의 말은, 거대 모델에 대한 기존의 고정관념을 다시 한번 뒤집는 흥미로운 주장입니다. 이처럼 기술이 진화함에 따라, 단순히 모델을 키우는 것만이 능사가 아니라는 인식이 점차 확산될 가능성이 높습니다.

AI의 미래: 당신의 주머니 속으로 들어오는 인공지능

이온 스토이카 고문이 PrismML의 기술에 대해 흥분을 감추지 못하는 이유 역시 바로 여기에 있습니다. 이 기술은 고급 모델들이 사용자 개개인의 기기에서 직접 실행될 수 있도록 만들기 때문입니다. 앞서 인용한 그의 발언처럼, 온디바이스(On-device) AI는 다음과 같은 혁신적인 변화를 가져올 것입니다.

• 프라이버시 강화: 데이터를 클라우드로 전송할 필요가 없어 개인 정보 유출의 위험이 현저히 줄어듭니다. 민감한 정보를 다루는 AI 애플리케이션에 특히 중요하겠죠.
• 접근성과 경제성: 이미 소유하고 있는 기기에서 실행되므로 추가적인 비용 부담이 없습니다. 고급 AI 기술이 소수의 기업이나 연구기관의 전유물이 아닌, 일반 대중에게 ‘무료로’ 제공될 수 있음을 의미합니다.
• 실시간 처리 및 오프라인 구동: 클라우드 서버와의 통신 지연 없이 즉각적인 응답이 가능하며, 인터넷 연결이 없는 환경에서도 AI 기능을 사용할 수 있게 됩니다. 이는 사용자 경험을 혁신적으로 개선할 것입니다.

개인적으로는 이러한 움직임이 거대 AI 모델 경쟁의 판도를 근본적으로 바꿀 수 있다고 생각합니다. 지금까지는 ‘더 크고, 더 복잡한’ 모델을 만드는 것이 기술력의 척도였다면, 이제는 ‘더 작고, 더 효율적이면서도 강력한’ 모델을 만드는 것이 새로운 경쟁 우위가 될 수 있습니다. 이는 AI 기술의 민주화를 가속화하고, 우리 일상생활 속에서 AI가 훨씬 더 광범위하게, 그리고 사적인 방식으로 활용될 수 있는 기반을 마련할 것입니다.

PrismML은 $22.25백만 달러의 시드 라운드 투자를 유치하며, Khosla Ventures, Cerberus Capital, 그리고 칼텍으로부터 지원을 받고 있습니다. 탄탄한 기술력과 비전을 바탕으로, AI의 미래를 클라우드를 넘어 우리의 PC와 스마트폰 속으로, 즉 ‘손가락 끝’으로 가져오는 PrismML의 행보에 업계는 물론 일반 사용자들의 관심이 집중될 수밖에 없습니다. AI 시대, ‘작은 것이 아름답다’는 새로운 명제가 지배할 날이 머지않았다는 생각이 듭니다.

---

출처

• 원문 제목: PrismML hopes its tiny LLM will change how we all use AI
• 출처: AI News & Artificial Intelligence | TechCrunch
• 원문 기사 보러가기