공장 바닥을 걷는 AI? 전 메타 과학자들이 꿈꾸는 '물리 AI' 혁명
Published Aug 27, 2026
우리가 일상에서 마주하는 AI는 아직까진 대부분 디지털 영역에 머물러 있습니다. 스마트폰의 음성 비서, 추천 알고리즘, 이미지 생성 도구 등 그 편리함은 놀랍지만, 실제 물리적인 세계와 직접적으로 상호작용하는 경우는 드물죠. 하지만 지금, 이러한 경계를 허물고 AI를 현실 세계, 특히 산업 현장으로 끌어들이려는 대담한 움직임이 포착되고 있습니다. 이는 단순히 효율성 증대를 넘어, 우리 삶의 많은 부분을 구성하는 제조, 물류, 보안 등 다양한 산업 분야에 근본적인 변화를 가져올 서막이 될 것으로 예상됩니다. 상상해보세요. 복잡한 공장 바닥을 로봇이 인간처럼 ‘보고’, ‘생각하고’, ‘행동’하며 물건을 분류하고, 이동하고, 심지어 문제를 해결하는 미래가 그리 멀지 않았다는 이야기입니다.
디지털 너머, 현실 세계로 향하는 AI의 눈: 퍼셉트론의 도전
메타(Meta)의 선행 AI 연구 부서(FAIR, Fundamental AI Research) 출신 과학자 두 명이 2024년 11월 설립한 스타트업 **퍼셉트론(Perceptron)**은 바로 이러한 미래를 현실로 만들고자 합니다. 이들은 기계가 물리적 환경과 더욱 능숙하게 상호작용할 수 있도록 돕는 ‘프론티어 비전 모델(frontier vision models)‘을 개발하는 데 주력하고 있습니다. 사실 AI가 실생활에 적용되는 시도는 꾸준히 있어왔습니다. 하지만 대부분은 특정 목적에 맞춰진 ‘협소한’ AI였죠. 퍼셉트론은 여기서 한발 더 나아가, 산업 환경이라는 복잡다단한 공간에서 기계가 스스로 “인지(perceive), 추론(reason), 행동(act)“할 수 있는 능력을 부여하는 것을 목표로 합니다.
이번에 공개된 최신 모델 **‘아이작 0.5(Isaac 0.5)‘**는 이러한 비전의 정수라고 할 수 있습니다. 이 소프트웨어는 시각 유도 로봇(vision-guided robots)이 창고나 공장 바닥과 같은 복잡한 환경을 원활하게 탐색하도록 지원할 뿐만 아니라, 이 로봇들이 기록한 영상에서 심층적인 시각적 지능을 추출하는 능력까지 갖추고 있습니다. 주목할 점은 아이작 0.5가 오픈 웨이트(open-weight) 모델로 출시되었다는 사실입니다. 이는 모델의 파라미터와 훈련 자료를 누구나 검토할 수 있다는 의미인데, 솔직히 말해서 이런 개방성은 산업계에서 매우 중요합니다. 특히 보안이나 정밀도가 요구되는 공장 환경에서는 기술의 투명성이 신뢰와 빠른 채택의 핵심 동력이 될 수 있기 때문입니다. 기술 검증과 개선이 더 신속하게 이루어질 수 있다는 점에서 매우 긍정적인 행보라고 생각합니다.
범용성과 유연성: ‘아이작 0.5’가 바꾸는 산업 현장의 패러다임
퍼셉트론의 공동 창립자인 아르멘 아가자냔(Armen Aghajanyan)과 악샤트 슈리바스타바(Akshat Shrivastava)는 현재 물리 AI가 “잘못된 선택을 강요한다”고 지적합니다. 그들이 말하는 ‘잘못된 선택’이란 다음과 같습니다.
- 범용 파운데이션 모델(Generalist Foundation Models): 각 인스턴스마다 여러 개의 전용 클라우드 GPU가 필요하여 비용과 자원 소모가 크다.
- 협소한 모델(Narrow Models): 인지(perception) 또는 제어(control) 중 하나만 처리할 수 있어, 둘 다 필요한 실제 산업 현장에서는 한계가 명확하다.
하지만 퍼셉트론의 아이작 0.5는 다릅니다. 이 도구는 **범용적(general-purpose)**이라는 점이 가장 큰 차별점입니다. 즉, 특정 반복 작업 하나만을 위해 만들어진 것이 아니라, 당면한 환경이나 상황에 따라 유연하게 작동하도록 설계되었습니다. 슈리바스타바는 간단한 박스 정리 과정을 예로 들며 이 모델의 유연성을 설명했습니다.
“지금 당장 패키지를 분류하기 위해 로봇이 배치된다고 상상해보세요. 어떤 작업을 수행해야 할까요?” 그는 이렇게 물었습니다. 단순해 보이는 이 작업에는 실제로 여러 단계가 포함됩니다. 로봇은 먼저 패키지의 라벨을 읽고, 박스의 위치를 이해하기 위해 공간 분석을 수행한 다음, 어떤 박스를 집을지 결정해야 합니다. 만약 여러 개의 박스를 집어야 한다면, 어떤 순서로 집을지 계획까지 세워야 하죠. 기존 산업용 소프트웨어들도 이러한 작업 대부분을 수행할 수 있지만, 유연하게 이를 처리하도록 설계된 프로그램은 찾아보기 어렵습니다.
이 부분에서 필자의 분석이나 관점을 더하자면, 이러한 ‘유연성’이야말로 산업 자동화의 다음 단계를 이끌 핵심 역량이라고 봅니다. 오늘날의 공장이나 물류 창고는 끊임없이 변합니다. 제품 라인이 바뀌고, 재고 배치가 달라지며, 예상치 못한 상황이 발생하기 마련이죠. 특정 작업에만 특화된 로봇은 이러한 변화에 대응하기 어렵고, 새로운 작업이 생길 때마다 막대한 재구축 비용과 시간이 소요됩니다. 아이작 0.5처럼 환경에 적응하고 스스로 판단하여 행동할 수 있는 범용적인 AI는 로봇의 활용도를 극대화하고, 기업들이 훨씬 민첩하게 변화에 대응할 수 있도록 도울 것입니다. 사실 이건 로봇을 ‘도구’에서 ‘진정한 협업자’로 격상시키는 중요한 전환점이 될 가능성이 높습니다.
거대한 데이터의 연금술: 아이작 0.5 학습의 비밀
그렇다면 이러한 알고리즘적 연금술을 위한 데이터는 어디서 올까요? 아이작 0.5와 같은 모델들은 방대한 양의 영상 훈련 데이터를 섭취함으로써 운영 기술을 학습합니다. 퍼셉트론은 아이작 0.5가 **백만 시간 분량의 ‘일반 영상(general video)‘**을 통해 특정 설정, 시각 자료, 시나리오를 식별하도록 훈련되었다고 밝혔습니다.
또한, 다음 두 가지 유형의 데이터에 크게 의존했습니다.
- 에고 비디오(Ego Video): 일반적으로 GoPro나 웨어러블 카메라를 통해 사람이 물리적 작업을 완료하는 관점에서 촬영된 영상입니다.
- UMI 비디오: 반복적인 인간 행동을 기록하여 AI 시스템에 움직임을 가르치는 데 유사하게 사용되는 영상입니다.
퍼셉트론은 훈련 데이터의 정확한 출처를 공개하지는 않았지만, 슈리바스타바는 회사가 **“이미지, 텍스트, 비디오 등 다양한 양식은 물론 로봇 궤적에 이르기까지 페타바이트(petabyte) 규모의 데이터셋을 자체적으로 구축했다”**고 말했습니다. 개인적으로는 이 ‘에고 비디오’와 ‘UMI 비디오’의 활용이 매우 인상 깊습니다. AI가 단순히 외부에서 관찰된 데이터를 학습하는 것을 넘어, 마치 사람의 시각과 행동 패턴을 직접 체험하듯이 학습한다는 것은 로봇이 물리적 세계를 이해하고 행동하는 방식을 인간과 더욱 유사하게 만들 수 있음을 의미합니다. 이는 로봇이 복잡한 조립 라인에서 미묘한 동작을 배우거나, 창고에서 예측 불가능한 장애물을 능숙하게 피하는 데 결정적인 역할을 할 수 있습니다. 업계 흐름을 보면, 이러한 인간 중심적 데이터 학습 방식은 물리 AI의 정교함을 한 차원 높일 가능성이 높습니다.
창고에서 로봇이 능숙하게 작동하도록 돕는 소프트웨어의 효용성은 명백히 엄청납니다. 퍼셉트론은 이러한 자동화의 물결을 선도할 준비가 되어 있다고 확신합니다. 이 스타트업은 다양한 공급업체에 소프트웨어를 마케팅할 준비를 마쳤으며, 결과적으로 그들의 지능형 레이어가 광범위한 산업에 통합될 가능성이 있습니다. 예상되는 산업 분야는 제조, 물류 및 창고업, 보안, 모빌리티, 미디어 및 엔터테인먼트를 포함합니다. “이런 것은 정말이지 세상에 존재하지 않습니다. 우리는 이에 대해 정말 기대하고 있습니다”라고 아가자냔은 덧붙였습니다.
퍼셉트론은 이미 2024년에 베세머 벤처 파트너스(Bessemer Venture Partners), 익스플로러 펀드(The Explorer Fund), 스마트게이트VC(SmartGateVC)로부터 1,600만 달러의 투자를 유치한 바 있으며, 추가 투자 라운드를 마무리하는 과정에 있는 것으로 알려졌습니다. 이는 업계가 퍼셉트론의 기술력과 비전에 상당한 기대를 걸고 있다는 방증이겠죠.
우리는 AI가 더 이상 스크린 안에서만 작동하지 않고, 우리 눈앞의 물리적 세계로 걸어 들어오는 시대의 문턱에 서 있습니다. 퍼셉트론과 아이작 0.5는 이 거대한 변화의 중요한 선두 주자로서, 산업의 풍경을 근본적으로 재편할 잠재력을 보여주고 있습니다. 그들의 여정이 앞으로 어떤 흥미로운 기술 혁신을 가져올지 기대가 됩니다.
출처
- 원문 제목: Ex-Meta scientists want to bring visual AI to the factory floor
- 출처: AI News & Artificial Intelligence | TechCrunch
- 원문 기사 보러가기
