스마트 글라스에 온디바이스 AI 시대가 온다: PrismML과 퀄컴의 협력 분석
Published Sep 25, 2026
최근 인공지능 분야의 가장 뜨거운 화두는 단연 거대 언어 모델(LLM)일 것입니다. 하지만 이 거대한 모델들을 구동하는 데 필요한 막대한 컴퓨팅 자원과 프라이버시 문제는 늘 숙제로 남아 있었습니다. 클라우드 기반 AI가 가진 고질적인 딜레마죠. 이러한 배경 속에서, 기기 자체에서 AI를 구동하는 ‘온디바이스 AI’ 또는 ‘엣지 AI’는 단순한 트렌드를 넘어 기술 발전의 필연적인 방향으로 자리매김하고 있습니다. 특히 웨어러블 기기, 그중에서도 스마트 글라스와 같은 차세대 인터페이스에서는 실시간성, 저지연성, 그리고 무엇보다 사용자 데이터의 프라이버시 보호가 핵심 가치로 떠오르고 있습니다.
이러한 맥락에서 캘텍(Caltech) 연구진이 설립하고 UC 버클리의 이온 스토이카(Ion Stoica) 교수가 자문하는 AI 연구소 PrismML이 퀄컴 스냅드래곤 칩을 탑재한 스마트 글라스를 위한 초소형 언어 모델을 개발했다는 소식은 실로 주목할 만합니다. 이는 단순한 기술 데모를 넘어, 온디바이스 AI의 상업적 적용 가능성을 한 단계 끌어올리는 중요한 진전으로 평가할 수 있습니다.
똑똑한 안경, 똑똑한 AI: 온디바이스 LLM의 시대
퀄컴의 스냅드래곤 서밋에서 시연된 PrismML의 ‘1-비트 본사이(Bonsai) LLM’은 스냅드래곤 AR1 Gen 1 플랫폼 기반의 AI 스마트 글라스에서 로컬로 구동될 수 있음을 보여주었습니다. 이 모델은 특히 비전(vision)과 언어(language)에 최적화된 20억 개 매개변수(2-billion-parameter) 모델로, 착용자가 보고 있는 사물에 대해 실시간으로 질문하고 답변을 받을 수 있게 해줍니다. 상상해보세요. 박물관에서 특정 예술 작품을 보며 “이 작품의 작가는 누구야?”라고 묻거나, 길을 걷다 낯선 식물을 발견하고 “이 꽃 이름이 뭐야?”라고 질문하면, 스마트 글라스가 즉각적으로 답을 해주는 미래 말이죠.
이것이 가능하게 된 핵심은 PrismML의 독보적인 기술력에 있습니다. 테크크런치 보도에 따르면, PrismML은 대규모 모델의 성능을 거의 그대로 유지하면서도 모델 크기를 무려 4분의 1로 대폭 축소하는 데 성공했습니다. 이는 엣지 기기에서 LLM을 구동할 때 가장 큰 걸림돌이었던 메모리 및 컴퓨팅 자원 제약을 효과적으로 해결했다는 의미입니다. 스마트 글라스와 같은 소형 기기는 배터리 용량과 처리 능력에 한계가 명확하기 때문에, 이처럼 효율적인 모델은 온디바이스 AI 실현의 필수 조건이라 할 수 있습니다.
특히 실시간 인터랙션이 중요한 스마트 글라스 환경에서 온디바이스 AI의 중요성은 아무리 강조해도 지나치지 않습니다. 클라우드 기반 AI는 네트워크 지연으로 인해 ‘진정한 실시간’ 반응을 제공하기 어렵습니다. 또한, 사용자의 시각 정보를 지속적으로 클라우드로 전송하는 것은 프라이버시 측면에서 매우 민감한 문제입니다. 온디바이스 LLM은 이러한 우려를 해소하고, 사용자에게 더욱 빠르고 개인화된, 그리고 안전한 AI 경험을 제공할 수 있는 강력한 대안을 제시합니다.
거대 언어 모델의 ‘다이어트’ 비법: PrismML의 기술력
PrismML이 이뤄낸 ‘모델 축소와 성능 유지’는 언어 모델 경량화 기술의 정수를 보여줍니다. 1-비트(bit) 양자화 기술을 적용한 본사이 LLM은 이름에서부터 그 혁신성을 엿볼 수 있습니다. 보통 LLM은 각 매개변수를 16비트나 32비트 부동소수점으로 표현하는데, 이를 극단적으로 1비트로 줄인다는 것은 상상 이상의 기술적 난이도를 동반합니다. 매개변수 하나하나가 가질 수 있는 정보량이 줄어들면서 모델의 표현력이 떨어지고 성능 하락으로 이어지기 쉽기 때문입니다. 하지만 PrismML은 이러한 난관을 극복하고 표준 벤치마크에서 거의 동일한 성능을 유지하면서 모델 크기를 대폭 줄였다고 합니다.
이 부분에서 주목할 점은, 이러한 기술이 단순히 “더 작게 만드는” 것을 넘어 “효율적으로 성능을 보존하는” 데 중점을 둔다는 사실입니다. 이는 우리가 흔히 접하는 거대하고 복잡한 AI 모델의 방향성과는 또 다른, 매우 중요한 패러다임 전환을 의미합니다. 클라우드에서 무한한 자원을 끌어다 쓰는 방식이 아니라, 제한된 자원 내에서 최적의 효율을 뽑아내는 기술. 이는 AI가 더욱 많은 기기와 사용자의 일상 속으로 파고들기 위해 반드시 필요한 요소입니다. 개인적으로는 이러한 초경량, 고성능 AI 모델이 미래에는 스마트폰, 웨어러블뿐만 아니라 IoT 기기, 심지어는 임베디드 시스템에까지 폭넓게 적용되어, 우리가 인지하지 못하는 수많은 곳에서 ‘똑똑한 기능’을 제공하게 될 것이라고 생각합니다. AI의 민주화는 단순히 오픈소스 모델의 확산뿐 아니라, 이러한 효율적인 온디바이스 구현 기술을 통해서도 이뤄질 것입니다.
퀄컴과 PrismML, 그리고 AI의 미래 지향점
이번 협력은 퀄컴에게도 중요한 의미를 가집니다. 퀄컴은 모바일 칩셋 시장을 선도하며 오랫동안 온디바이스 컴퓨팅의 중요성을 강조해왔습니다. 그들의 스냅드래곤 플랫폼은 단순한 CPU, GPU를 넘어 AI 가속기와 같은 특화된 하드웨어 유닛을 통합하며 엣지 AI 시대를 준비해왔죠. PrismML과의 협력은 이러한 퀄컴의 비전을 현실화하는 중요한 파트너십입니다. 강력한 하드웨어 플랫폼 위에 효율적인 AI 소프트웨어 스택이 결합될 때, 비로소 진정한 온디바이스 AI 생태계가 구축될 수 있습니다.
PrismML의 더 큰 목표는 “기존 컴퓨팅 파워를 더 잘 활용하여 기기에서 구동되는 오픈 가중치(open-weight) AI”를 지향한다는 점입니다. 이는 독점적인 AI 연구소들의 프라이버시 약속과 끝없는 컴퓨팅 자원 요구에 의존하는 대신, 대안을 제시하려는 스타트업의 의지를 보여줍니다. 즉, AI의 힘을 소수의 거대 기업이 독점하는 것이 아니라, 더 많은 기기에서 독립적으로 구동되고 사용자의 통제 하에 놓이게 하겠다는 철학입니다.
개인적으로는 이러한 온디바이스, 오픈-웨이트 AI 지향점이 미래 AI 산업의 중요한 축이 될 것이라고 생각합니다. 클라우드 AI가 가진 확장성과 범용성이라는 장점은 분명하지만, 프라이버시, 보안, 그리고 특정 기업에 대한 종속성이라는 단점 또한 명확합니다. 반면, 온디바이스 AI는 사용자 개인에게 더 큰 통제권을 부여하고, 데이터가 기기 밖으로 나가지 않아 프라이버시 침해 위험을 줄일 수 있습니다. 이는 AI 기술 발전의 방향성을 다양화하고, 기술 독점을 견제하며, 사용자 중심의 AI 생태계를 구축하는 데 기여할 것입니다. 물론 아직 PrismML이 탑재된 스마트 글라스가 발표되지는 않았지만, 퀄컴 칩용 모델을 출시한 것은 분명 그 비전을 향한 중요한 발걸음입니다. 앞으로 어떤 제조업체들이 이 기술을 자사의 스마트 글라스에 통합할지 귀추가 주목됩니다.
결론적으로, PrismML과 퀄컴의 이번 협력은 온디바이스 AI, 특히 웨어러블 기기 분야에서 새로운 지평을 열었다고 평가할 수 있습니다. 거대 언어 모델을 소형 기기에 탑재하는 기술적 난관을 극복하고, 프라이버시와 효율성을 동시에 잡으려는 노력은 AI의 미래를 논할 때 빼놓을 수 없는 중요한 진전입니다. 기술이 발전할수록 AI는 점점 더 우리와 가까워지고, 우리 일상에 깊숙이 스며들게 될 것입니다. 이때 중요한 것은 단순히 더 강력한 AI를 만드는 것뿐만 아니라, 우리 삶에 어떻게 더 유용하고 안전하며 개인화된 방식으로 통합될 수 있는지를 고민하는 것이며, PrismML의 접근 방식은 그 해답 중 하나를 제시하고 있습니다. 앞으로 스마트 글라스가 AI와 결합하여 어떤 혁신적인 사용자 경험을 선사할지, 벌써부터 기대가 됩니다.
출처
- 원문 제목: PrismML brings its tiny LLMs to Qualcomm-powered smart glasses
- 출처: AI News & Artificial Intelligence | TechCrunch
- 원문 기사 보러가기
