AI, "무조건 큰 모델" 시대 저물고 "가성비"의 시대로 향하나?
Published Jun 10, 2026
여러분은 인공지능 기술을 사용하시면서 혹시 이런 생각 해보신 적 없으신가요? “이거 정말 필요한 기능일까? 너무 비싼 거 아닌가?” 또는 “조금 더 저렴하면서도 내가 원하는 만큼의 성능을 내는 AI는 없을까?” 지난 몇 년간 AI 시장은 ‘더 크고, 더 강력하며, 더 많은 연산량을 가진 모델이 최고’라는 암묵적인 가정 아래 폭발적으로 성장했습니다. 그러나 이제, 이러한 기본 전제가 흔들리기 시작하면서 우리 일반 사용자와 기업 모두에게 AI 활용의 새로운 가능성과 고민을 던져주고 있습니다. 단순히 최첨단 모델을 사용하는 것이 미덕이었던 시대에서, 비용 효율성을 고려한 ‘스마트한 AI 모델 선택’이 중요해지는 변곡점에 서 있는 셈입니다.
AI 모델의 대전환: ‘크기’에서 ‘효율’로의 패러다임 변화
지금까지 AI 산업의 성공 신화는 기본적으로 ‘큰 모델이 더 강력하고, 가장 강력한 모델이 승리한다’는 믿음 위에 세워졌습니다. 하지만 이제 이 가정이 무너지기 시작하면 어떤 일이 벌어질지 업계는 학습하게 될 것입니다. 실제로 엄청나게 불어나는 AI 활용 비용은 사용자들로 하여금 더 작고 저렴한 모델들을 다시금 살펴보게 만드는 압력으로 작용하고 있습니다. 이러한 ‘비용 효율성을 고려한 모델 쇼핑’은 이전에는 볼 수 없었던 새로운 현상이며, 그 영향은 실로 엄청날 것으로 예상됩니다.
코인베이스(Coinbase) 공동 설립자 브라이언 암스트롱(Brian Armstrong)의 예측은 이러한 변화의 핵심을 잘 보여줍니다. 그는 X(구 트위터)를 통해 “지능에 대한 수요는 거의 무한하지만, 80%의 워크로드는 12~18개월 내에 99% 더 저렴한 모델에서 실행될 것”이라고 밝혔습니다. 동시에 “20%의 워크로드는 지능 극대화가 중요한 최신 세대 모델에서 계속 실행될 것”이라고 덧붙였습니다. 암스트롱의 예측이 현실이 된다면, AI 산업에는 엄청난 규모의 변화가 찾아올 것입니다.
이전까지 대부분의 AI 기업들은 품질을 최우선으로 경쟁했고, 이는 곧 가장 발전된 모델을 기본적으로 사용하는 것을 의미했습니다. 하지만 만약 동일한 작업들을 품질 저하 없이 더 저렴한 모델로 처리할 수 있다면, 이는 AI 경제학에 엄청난 변화를 가져올 것입니다. 더욱이 중요한 점은, 이러한 비용 절감의 상당 부분이 오픈AI(OpenAI)나 앤트로픽(Anthropic) 같은 대형 AI 연구소들의 수익에서 발생할 것이라는 사실입니다. 이들이 기업공개(IPO)를 앞두고 있는 시점에서, 이러한 변화는 재정적으로 큰 타격이 될 수 있습니다. 개인적으로는 이러한 비용 압박이 단순히 기업들의 수익 감소를 넘어, 차세대 최첨단(frontier) 모델 개발 전략 자체에 대한 근본적인 질문을 던질 것이라고 생각합니다. 투자자들의 막대한 자금 지원으로 비용이 상쇄되던 시기가 끝나면, 과연 어떤 모델이 ‘가장 가치 있는’ 모델로 평가받을지에 대한 기준이 완전히 달라질 수 있기 때문입니다.
품질은 유지, 비용은 절감? 실제 사례가 보여주는 가능성
과연 기업들은 더 작은 모델로의 전환을 기꺼이 받아들일 준비가 되어 있을까요? 초기 테스트 결과들은 시스템이 제대로 구성된다면, 더 저렴한 모델로도 품질 저하 없이 대체가 가능하다는 것을 시사합니다.
법률 AI 도구인 하비(Harvey)의 최근 테스트는 이 가능성을 명확하게 보여줍니다. 이 회사는 추론(inference) 비용을 무려 3배나 절감하면서도 품질을 전혀 떨어뜨리지 않았습니다. 인퍼런스 플랫폼 파이어웍스 AI(Fireworks AI)와 협력하여 진행된 이 테스트에서, 하비는 클로드 오푸스(Claude Opus)와 파이어웍스의 GLM 5.1을 결합하여 가장 집중적인 작업에는 오푸스를 사용했습니다. 그 결과, 서버 시간과 전체 비용 측면에서 부하가 현저히 감소했습니다.
하비의 공동 설립자 게이브 페레이라(Gabe Pereyra)는 “품질이 최우선이며, 법률 분야에서는 항상 그럴 것”이라고 강조하면서도, “그러나 품질의 정의는 모든 것에 가장 강력한 모델을 사용하는 것에서, 가장 효율적으로 올바른 답변을 얻는 최적의 모델을 사용하는 것으로 진화하고 있다”고 테크크런치에 밝혔습니다. 그의 언급은 AI 모델 선택의 패러다임이 얼마나 크게 변하고 있는지를 여실히 보여줍니다.
이러한 트렌드는 종종 거대 연구소의 독점 모델과 중국 모델 또는 오픈 웨이트(open-weight) 모델 간의 대결로 이해되기도 합니다. 하지만 이는 더 큰 본질을 놓치는 시각입니다. 진정한 분열은 독점 모델과 오픈 모델 사이에 있는 것이 아니라, 크고 무거운 모델과 작고 가벼운 모델 사이에 있다는 것이죠. GPT-5.5에서 DeepSeek의 V4 Flash로 전환하여 비용을 절감할 수 있지만, GPT-5.4-mini로 전환하는 것 역시 효과적일 수 있습니다. 현재 대형 연구소들의 자체 추론과 독립적으로 서비스되는 오픈 웨이트 모델들 사이에서 활발한 가격 전쟁이 벌어지고 있지만, 더 큰 질문, 즉 ‘작은 모델 대 큰 모델’이라는 본질적인 대결에서는 어떤 종류의 작은 모델이 승리하든 크게 중요하지 않습니다.
AI 산업의 ‘비터 레슨’ 재조명: 비용 압박이 불러올 미래
이 모든 것이 너무나 당연하게 들릴 수도 있습니다. 불필요하게 많은 연산 자원을 사용할 이유가 없다는 건 상식적이죠. 그러나 이는 지금까지 AI 산업을 지배했던 ‘스케일링 우선(scaling-first)’ 접근 방식과는 정반대되는 흐름입니다. 이른바 ‘비터 레슨(Bitter Lesson)‘에 영감을 받아, 연구소들은 가능한 한 가장 연산 집약적인 모델을 훈련하는 데 집중했고, AI 모델이 할 수 있는 것의 한계를 끊임없이 확장해왔습니다. 투자자들의 막대한 보조금 덕분에, 고객들은 가장 진보된 옵션 외에 다른 것을 선택할 이유가 없었습니다.
하지만 토큰 가격이 상승하고 보조금이 줄어들면서, 사용자들은 처음으로 비용 압박에 직면하고 있습니다. 이러한 새로운 비용 압박이 과연 기업 사용자들을 실제로 더 작은 모델로 이끌지는 아직 미지수입니다. 그들은 단순히 API 호출 횟수를 줄이거나, 컨텍스트 길이를 짧게 사용하거나, 아니면 가장 기대가 적은 배포를 포기하는 식으로 비용을 절감할 수도 있습니다.
하지만 대부분의 배포가 더 작은 모델에서도 충분히 잘 실행될 수 있다는 사실이 입증된다면, 이는 추론 수요의 증가세에 심각한 제동을 걸 수 있습니다. 그리고 무엇보다, 최첨단 모델을 훈련하는 막대한 비용을 어떻게 정당화할 것인가에 대한 새로운 질문을 던지게 될 것입니다.
개인적으로 이 변화는 AI 기술의 민주화를 가속화할 잠재력이 있다고 봅니다. 소수의 거대 기업만이 접근 가능했던 최첨단 AI 기술이, 효율적인 경량 모델의 발달과 함께 더 많은 기업과 개발자에게 문을 열어줄 수 있다는 것이죠. 이는 혁신의 속도를 높이고, AI의 실제 적용 범위를 훨씬 더 넓히는 계기가 될 것입니다. 미래의 AI 시장은 단순히 가장 ‘강력한’ 모델을 자랑하는 곳이 아니라, 사용 목적에 가장 적합하고 비용 효율적인 솔루션을 제공하는 모델들이 경쟁하는 장이 될 가능성이 높습니다. 우리 모두는 AI 모델을 선택할 때 ‘크기’보다는 ‘가치’를 기준으로 삼는 시대로 진입하고 있는 것입니다.
출처
- 원문 제목: Can tech companies learn to love cheaper AI models?
- 출처: AI News & Artificial Intelligence | TechCrunch
- 원문 기사 보러가기
