AI, 물리적 세상을 기억하다: Memories.ai의 시각적 기억 기술 혁명

최근 인공지능(AI) 기술은 디지털 세상에서 놀라운 발전을 거듭하며 우리의 일상 깊숙이 파고들고 있습니다. 챗GPT와 같은 대규모 언어 모델은 텍스트를 이해하고 생성하며, 이미지 생성 AI는 상상 속의 그림을 현실로 만들어내고 있습니다. 하지만 이러한 AI의 눈부신 발전에도 불구하고, 여전히 넘어야 할 중요한 과제가 남아있습니다. 바로 AI가 실제 물리적인 세상을 ‘기억’하고 ‘이해’하는 능력입니다. 우리는 AI가 특정 작업을 수행하거나 질문에 답하는 능력에는 익숙하지만, AI가 우리가 보고 경험하는 것을 마치 사람처럼 지속적으로 기억하고 필요할 때 불러낼 수 있다는 생각은 아직 낯설게 느껴집니다.

여기서 바로 Memories.ai라는 혁신적인 스타트업이 등장합니다. Memories.ai는 AI가 물리적인 환경에서 성공적으로 기능하기 위해 필수적인 ‘시각적 기억 계층’을 구축하는 데 집중하고 있습니다. 이는 단순히 영상을 기록하는 것을 넘어, 기록된 영상 정보를 AI가 이해하고 분석하며, 나아가 필요할 때 정확히 찾아내 활용할 수 있도록 하는 고도의 기술을 의미합니다. 웨어러블 기기나 로봇이 실제 세계에서 복잡한 작업을 수행하려면, 주변 환경을 지속적으로 인지하고 과거의 경험을 바탕으로 학습하며 의사결정을 내릴 수 있어야 합니다. Memories.ai의 기술은 이러한 미래 AI의 핵심 기반이 될 것으로 기대를 모으고 있으며, 최근에는 반도체 업계의 거인 **엔비디아(Nvidia)**와의 전략적 파트너십을 발표하며 그 비전의 현실화에 박차를 가하고 있습니다.

AI의 시각적 기억: 물리적 세상 정복의 핵심 열쇠

Memories.ai의 공동 설립자이자 CEO인 션 션(Shawn Shen)은 AI가 물리적 세상에서 성공하기 위해서는 ‘본 것을 기억해야 한다’고 단언합니다. 이들의 아이디어는 **메타(Meta)**의 레이밴(Ray-Ban) 스마트 안경용 AI 시스템을 구축하던 경험에서 비롯되었습니다. 사용자들이 촬영한 영상 데이터를 효과적으로 기억하고 불러낼 수 없다면, 그 기술이 실제 생활에서 얼마나 유용할 수 있을지에 대한 근본적인 질문이 이 회사의 출발점이 된 것입니다. 이들은 시각적 기억 솔루션의 부재를 확인하고, 직접 이 핵심 기술을 개발하기 위해 메타에서 독립했습니다.

• 기존 AI 기억의 한계: 최근 몇 년간 OpenAI의 ChatGPT, 일론 머스크의 xAI, 구글의 제미니(Gemini) 등 많은 AI 모델들이 과거 대화나 정보를 기억하는 기능을 선보였습니다. 하지만 션 션 CEO가 지적하듯이, 이러한 발전은 주로 ‘텍스트 기반 기억’에 초점이 맞춰져 있었습니다. 텍스트 데이터는 구조화하기 쉽고 색인화하기 용이하지만, 시각을 통해 세상과 상호작용하는 물리적 AI 애플리케이션에는 그 한계가 명확합니다. 로봇이 복잡한 조립 작업을 수행하거나 웨어러블 기기가 사용자의 일상을 돕기 위해서는 단순히 텍스트 명령을 기억하는 것을 넘어, 과거에 ‘본’ 모든 시각 정보를 이해하고 활용할 수 있어야 합니다.

• Memories.ai의 비전: 션 션 CEO는 “AI는 이미 디지털 세계에서 매우 잘하고 있습니다. 하지만 물리적 세계는 어떻습니까?”라고 질문하며, “AI 웨어러블, 로봇 또한 기억이 필요합니다. 궁극적으로 AI는 시각적 기억을 가져야 합니다. 우리는 그러한 미래를 믿습니다.”라고 강조합니다. 이 비전은 단순한 기술 개발을 넘어, AI가 진정으로 인간의 삶과 물리적 환경에 통합되는 미래를 그리는 데 있습니다. AI가 우리의 눈과 귀가 되어 세상의 모든 순간을 기억하고, 필요할 때 정확한 정보를 제공하는 시대를 열고자 하는 것입니다.

• LVMM (Large Visual Memory Model) 개발: Memories.ai는 이 시각적 기억 계층을 구축하기 위해 ‘거대 시각 기억 모델(Large Visual Memory Model, LVMM)‘을 개발했습니다. 이 모델은 영상 데이터를 저장하고 불러올 수 있는 데이터 형식으로 ‘임베딩(embedding)‘하고 ‘색인화(indexing)‘하는 데 필요한 인프라를 구축하는 것이 핵심입니다. 즉, 방대한 양의 영상 데이터를 AI가 이해할 수 있는 의미 있는 형태로 변환하고, 나중에 특정 정보를 효율적으로 검색할 수 있도록 분류하는 기술입니다. 션 션 CEO는 이 모델을 최근 출시된 멀티모달 색인 및 검색 모델인 Gemini Embedding 2의 소규모 버전으로 비유하며 그 기술적 완성도를 시사했습니다.

• 데이터 수집 장치 LUCI: LVMM을 훈련시키기 위해서는 방대한 양의 고품질 시각 데이터가 필수적입니다. 이를 위해 Memories.ai는 자체 하드웨어 장치인 LUCI를 개발했습니다. 이 장치는 회사의 ‘데이터 수집가’들이 착용하여 영상 데이터를 기록하는 데 사용됩니다. 션 션 CEO는 회사가 하드웨어 회사가 되거나 이 장치를 판매할 계획은 없다고 밝혔습니다. 고해상도와 배터리 소모가 심한 기존 상용 비디오 레코더에 만족하지 못하여, 오로지 모델 훈련에 최적화된 형태로 LUCI를 직접 제작하게 되었다고 설명했습니다. 이는 데이터 품질에 대한 이들의 강력한 의지를 보여주는 대목입니다.

• 기술적 도전과 해결: 시각적 기억 계층을 성공적으로 구축하는 것은 두 가지 큰 도전 과제를 해결해야 함을 의미합니다. 첫째, 영상을 저장하고 검색 가능한 데이터 형식으로 임베딩하고 색인화하는 데 필요한 인프라를 구축하는 것입니다. 이는 단순한 데이터 저장소가 아니라, AI가 의미를 추출하고 맥락을 이해할 수 있는 지능형 데이터베이스를 만드는 작업입니다. 둘째, 이러한 모델을 훈련시키기 위해 필요한 대량의 고품질 데이터를 캡처하는 것입니다. Memories.ai는 LUCI와 LVMM을 통해 이 두 가지 난제를 동시에 해결하며 독보적인 기술력을 확보해 나가고 있습니다.

거대 기술 기업들과의 협력: 시너지 효과 창출

Memories.ai와 같은 초기 스타트업이 미래 핵심 기술 분야에서 리더십을 확보하기 위해서는 단순히 기술 개발에만 전념하는 것을 넘어, 업계의 주요 플레이어들과의 전략적 협력이 필수적입니다. 이러한 파트너십은 기술 개발에 필요한 자원을 확보하고, 시장 진출의 교두보를 마련하며, 궁극적으로 기술 표준을 선도하는 데 결정적인 역할을 합니다. Memories.ai는 이러한 점을 명확히 인지하고, 전략적 협력을 통해 기술 상용화 및 확장에 박차를 가하고 있습니다.

• Nvidia와의 전략적 제휴: 지난 GTC 컨퍼런스에서 Memories.ai는 반도체 업계의 거물 엔비디아와의 협력을 공식 발표했습니다. 이 파트너십을 통해 Memories.ai는 엔비디아의 추론 시각 언어 모델인 **코스모스-리즌 2(Cosmos-Reason 2)**와 영상 검색 및 요약 애플리케이션인 **메트로폴리스(Metropolis)**를 자사의 시각 기억 기술 개발에 적극적으로 활용하고 있습니다. 코스모스-리즌 2는 AI가 영상 내용을 이해하고 추론하는 능력을 고도화하며, 메트로폴리스는 방대한 영상 데이터에서 필요한 정보를 효율적으로 찾아내고 요약하는 기능을 제공합니다. 이러한 엔비디아의 강력한 AI 도구들은 Memories.ai의 LVMM 개발에 핵심적인 역할을 하며, 기술의 완성도를 한층 더 끌어올리는 시너지 효과를 창출하고 있습니다.

• 퀄컴(Qualcomm)과의 협력: Memories.ai는 올해 하반기부터 자사의 LVMM이 퀄컴의 프로세서에서 구동될 것이라는 파트너십 또한 발표했습니다. 퀄컴은 모바일 및 엣지 AI 프로세서 분야의 선두 주자로서, 웨어러블 기기나 로봇과 같은 엣지 디바이스에서 AI 모델이 효율적으로 작동하는 데 필수적인 기술을 제공합니다. LVMM이 퀄컴 프로세서 위에서 작동하게 된다는 것은, Memories.ai의 시각 기억 기술이 실제로 전력 효율적이고 성능이 뛰어난 엣지 디바이스에 통합되어 상용화될 가능성이 매우 높아진다는 것을 의미합니다. 이는 미래 웨어러블 및 로봇 시장에서 Memories.ai의 기술이 광범위하게 적용될 수 있는 중요한 발판이 될 것입니다.

• 익명 대형 웨어러블 기업들과의 협력: 션 션 CEO는 현재 여러 대형 웨어러블 기업들과도 협력하고 있다고 밝혔으나, 구체적인 이름은 공개하지 않았습니다. 이러한 익명의 협력은 Memories.ai의 기술이 이미 시장에서 높은 수요와 잠재력을 인정받고 있음을 시사합니다. 비록 지금 당장은 상용화 단계가 아니더라도, 선도적인 웨어러블 기업들이 이들의 시각 기억 기술에 관심을 보인다는 것은 이 기술이 미래 웨어러블 기기의 핵심 경쟁력이 될 것이라는 강력한 증거입니다. 이는 Memories.ai의 기술이 단순히 개념적인 아이디어가 아니라, 실제 제품과 서비스에 적용될 수 있는 실용성과 가치를 가지고 있음을 보여줍니다.

• 자금 조달 현황: Memories.ai는 현재까지 총 1,600만 달러의 투자를 유치했습니다. 여기에는 2025년 7월의 800만 달러 시드 라운드와 추가 800만 달러 연장 투자가 포함됩니다. **수사 벤처스(Susa Ventures)**가 시드 라운드를 주도했으며, 시드캠프(Seedcamp), 퓨전 펀드(Fusion Fund), 크레인 벤처 파트너스(Crane Venture Partners) 등 여러 투자사들이 참여했습니다. 이러한 대규모 투자는 Memories.ai가 추구하는 시각 기억 기술의 혁신성과 시장 잠재력을 투자자들이 높이 평가하고 있음을 방증합니다. 확보된 자금은 LVMM 개발 및 인프라 구축, 그리고 인재 확보에 활용되어 기술적 리더십을 더욱 강화하는 데 기여할 것입니다.

물리적 AI 시대의 도래와 Memories.ai의 포지션

인공지능은 이제 단순한 소프트웨어 알고리즘을 넘어, 로봇, 자율주행차, 스마트 웨어러블 기기 등 물리적 형태를 가진 존재로 확장되고 있습니다. 이러한 ‘물리적 AI’의 시대가 도래함에 따라, AI가 실제 세상과 더욱 밀접하게 상호작용하고 학습하는 능력이 그 어느 때보다 중요해지고 있습니다. Memories.ai는 이러한 거대한 패러다임 변화의 중심에서, AI가 물리적 세계를 이해하고 기억할 수 있도록 하는 핵심 인프라를 구축하며 독보적인 포지션을 확보하고 있습니다. 인간이 시각을 통해 세상을 인지하고 기억하듯이, 물리적 AI 또한 고도화된 시각적 기억 능력이 없이는 제한적인 기능만을 수행할 수밖에 없습니다. Memories.ai의 기술은 이 근본적인 한계를 극복하고, AI가 진정한 의미에서 ‘경험’하고 ‘학습’하며 ‘성장’할 수 있는 길을 열어주고 있습니다.

기존의 텍스트 기반 AI는 이미 높은 수준의 언어 이해력을 보여주었지만, 이는 물리적 환경의 복잡한 시각 정보를 처리하는 데는 역부족입니다. 예를 들어, 로봇이 특정 물체를 인식하고 조작하는 것을 넘어, 과거에 그 물체를 어떻게 다루었는지, 주변 환경은 어떠했는지 등 시각적 맥락을 기억하고 활용해야 비로소 진정한 지능을 가질 수 있습니다. Memories.ai는 이러한 시각적 기억 계층을 구축함으로써, AI가 보고, 듣고, 느끼는 모든 것을 통합적으로 기억하고 추론할 수 있는 기반을 제공합니다. 이는 웨어러블 기기가 사용자의 특정 행동 패턴을 학습하여 미리 필요한 정보를 제공하거나, 로봇이 예상치 못한 상황에서 과거의 유사한 시각적 경험을 바탕으로 유연하게 대처하는 등, 상상 속의 미래 기술을 현실로 만들 수 있는 잠재력을 가지고 있습니다. 시장의 흐름과 투자 유치 상황을 보면, 이 기술이 단순한 아이디어를 넘어 현실적인 미래 가치를 지니고 있음을 알 수 있습니다.

AI의 미래, 시각적 기억이 그리는 새로운 세상

Memories.ai의 비전과 기술은 AI가 인간의 삶에 더욱 깊이 통합되는 미래를 상상하게 합니다. 궁극적으로 웨어러블 기기는 단순히 건강 데이터를 기록하거나 알림을 표시하는 도구를 넘어, 우리의 삶의 동반자가 될 것입니다. 이 기기는 우리가 본 모든 것을 기억하고, 특정한 순간에 관련 정보를 제공하며, 심지어 우리의 과거 경험을 바탕으로 미래 행동을 예측하고 도울 수 있습니다. 예를 들어, 여행지에서 과거에 방문했던 식당의 시각적 기억을 떠올려 추천하거나, 특정 물건을 어디에 두었는지 영상을 통해 찾아주는 등의 역할을 수행할 수 있습니다. 로봇 역시 단순 반복 작업을 넘어, 복잡한 환경에서 스스로 학습하고, 시각적 기억을 바탕으로 예측 불가능한 상황에 유연하게 대처하며, 인간과 더욱 자연스럽게 상호작용하는 지능형 존재로 진화할 것입니다.

션 션 CEO가 언급했듯이, 웨어러블 및 로봇 시장의 본격적인 상업화는 아직 시간이 필요할 수 있습니다. 하지만 Memories.ai는 지금 이 순간에도 미래를 위한 핵심 인프라와 모델을 구축하는 데 집중하고 있습니다. 이들의 노력은 AI가 단순히 ‘정보를 처리하는 기계’를 넘어, ‘경험을 축적하고 학습하는 지능체’로 거듭나는 중요한 전환점이 될 것입니다. 시각적 기억 기술은 AI가 물리적 세상에서 진정으로 자율적이고 지능적으로 기능하기 위한 필수적인 단계이며, Memories.ai는 이 중대한 여정의 선두에 서서 인공지능의 새로운 지평을 열어가고 있습니다. 이 기술의 발전은 우리가 상상하는 것 이상으로 빠르게 현실이 될 것이며, 우리의 삶과 세상을 변화시키는 강력한 동력이 될 것입니다.

---

출처

• 원문 제목: Memories AI is building the visual memory layer for wearables and robotics
• 출처: AI News & Artificial Intelligence | TechCrunch
• 원문 기사 보러가기