AI 비용, 감당할 수 있겠습니까? 어느 스타트업의 충격적인 AI 지출 고백과 그 해법
Published Aug 7, 2026
“저희는 믿을 수 없었습니다.” Rippling의 최고제품책임자(CPO) 맷 맥이니스(Matt MacInnis)가 테크크런치에 전한 이 한마디는 올해 초 전 세계 기업들을 휩쓸었던 ‘토큰맥싱(tokenmaxxing)’ 열풍의 어두운 이면을 적나라하게 보여줍니다. 올해 초 수많은 기업들이 그랬듯, Rippling 역시 AI 토큰 사용에 ‘올인’했지만, 불과 몇 달 만에 직원들의 AI 사용이 상상을 초월하는 속도로 회사의 현금을 태워버리고 있음을 깨달은 것입니다. 3월, CFO 아담 스위시츠키(Adam Swiecicki)가 경영진 회의에서 제시한 숫자는 모두를 경악하게 만들었습니다.
Rippling은 AI 토큰 비용으로 연구개발(R&D) 인건비 예산의 무려 40%를 소진할 위기에 처해 있었습니다. 이는 R&D 부서 직원들에게 지급하는 총 보상의 40%에 해당하는 금액을 토큰 사용에 쓰고 있다는 의미이며, 말 그대로 수백만 달러가 허공으로 사라지고 있는 상황이었습니다. 더욱 충격적인 것은 AI 지출이 매달 80%씩 증가하고 있었다는 점입니다. 이 추세가 계속된다면 다음 해에는 R&D 부서 인건비의 90%에 달하는 금액을 AI 토큰에 쏟아부어야 할 판이었죠. 솔직히 말해서, 이 수치는 AI 도입을 고민하거나 이미 시작한 많은 기업들에게 섬뜩한 경고음으로 들릴 것입니다. 과연 우리 회사는 저 정도까지는 아닐까요? 아니면 이미 저 상황에 놓여 있지만 아직 깨닫지 못했을 뿐일까요?
AI 지출, 통제 불능의 그림자
경영진은 즉시 ‘긴급’ 프로젝트에 착수하여 이 막대한 지출의 실체를 파악하고, 과연 그 돈으로 무엇을 얻고 있는지 분석하기 시작했습니다. Rippling이 진행한 분석 결과는 더욱 충격적입니다. “전체 AI 지출의 약 60%가 단 10~15%의 직원에 의해 발생하고 있었다”는 사실이 밝혀졌습니다. 심지어 한 엔지니어는 한 달에 5만 달러(약 6천5백만 원)를 AI 사용에 쏟아붓고 있었다고 하니, 개인의 AI 활용이 기업 재정에 얼마나 큰 부담이 될 수 있는지 보여주는 극단적인 사례가 아닐 수 없습니다.
이 부분에서 주목할 점은, 이러한 지출의 불균형이 단순히 AI를 많이 쓰는 직원에게서만 발생하는 것이 아니라는 것입니다. Rippling은 직원들이 모든 작업에 ‘최신’이자 ‘가장 비싼’ 최첨단 모델을 기본으로 사용하고 있다는 문제점을 발견했습니다. inference 제공업체(OpenAI, Anthropic 등)들은 기업의 비용 절감을 도울 아무런 동기가 없으며, 오히려 비용이 폭주하도록 유도하고 있다는 맥이니스 CPO의 지적은 뼈아픕니다. 사실 이건 너무나 당연한 사실 아닐까요? 이윤을 추구하는 기업이 자사 서비스의 무분별한 사용을 굳이 막을 이유가 없으니 말입니다.
그렇다면 기업들은 이 문제를 어떻게 해결해야 할까요? Rippling의 경험은 두 가지 핵심 교훈을 남겼습니다. 첫째, 기업들은 다양한 가격대의 여러 AI 연구소 모델이 필요하다는 것을 깨달았습니다. 여기에는 ‘프론티어 오픈 웨이트’ 옵션, 심지어 중국산 모델까지 포함됩니다. 실제로 Rippling 자체 벤치마크 결과, SpaceX의 Grok이 전반적인 성능에서 선두를 달렸지만, Z.ai의 GLM 5.2는 프론티어 모델과 거의 동일한 성능을 보이면서도 85%나 저렴하다는 놀라운 결과가 나왔습니다. 최근 Tech 기업들 사이에서 GLM 5.2가 코딩 작업에 특히 인기를 얻고 있다는 점은 시사하는 바가 큽니다. 데이터브릭스(Databricks) 역시 이 모델을 적극적으로 지지하고 있고요.
둘째, 기업들은 프롬프트를 특정 작업에 가장 적합하고 비용 효율적인 모델로 라우팅하는 AI 게이트웨이의 필요성을 인지했습니다. Rippling 역시 이러한 결론에 도달했고, 이 게이트웨이를 자체적으로 구축하여 이번 신제품의 핵심 기능으로 포함시켰습니다.
Rippling의 해법: AI Spend Console, 비용과 생산성을 동시에 잡다
Rippling이 선보인 AI Spend Console은 기업이 AI 지출을 추적하고 억제하도록 돕는 ‘안티-토큰맥싱’ 제품입니다. 이 도구의 가장 흥미로운 기능 중 하나는 개별 직원, 팀, 역할별 AI 지출을 매핑하고, 그들이 정말로 더 생산적인지, 아니면 단순히 “AI 찌꺼기(AI slop)“를 더 많이 생산하고 있는지를 파악할 수 있다는 점입니다.
회사는 이 도구가 “AI 지출이 높으면서도 동료들이 코드 검토에서 재작업을 요청하는 엔지니어가 누구인지” 보여줄 것이라고 약속했습니다. 이는 단순한 비용 절감을 넘어, AI 활용의 효율성과 실질적인 생산성 기여까지 측정하겠다는 강력한 의지를 보여줍니다. AI Spend Console은 프롬프트 사용량, 코드 라인 수/풀 리퀘스트와 같은 작업 결과물, 그리고 지출을 결합하여 점수를 매기는 대시보드를 제공합니다.
이 도구와 자체 AI 게이트웨이를 도입한 결과, Rippling의 토큰 지출은 전체 인건비 예산의 40%에서 약 15%로 급감했습니다. 놀라운 점은 AI 사용량을 줄이지 않았다는 것입니다. CFO의 경고가 있었던 한 달 동안 6050억 토큰을 사용했고, 7월에도 다시 6000억 토큰을 기록했지만, “7월 토큰 지출 비용은 4월 토큰 지출 비용의 37%에 불과했다”고 맥이니스 CPO는 밝혔습니다.
그 비결은 바로 “더 효율적인 모델로 라우팅”한 덕분이라고 합니다. 그는 “영업팀이 Fable을 사용하여 문법 업데이트를 하도록 내버려 두지 않고 있다”고 농담처럼 덧붙였는데, 이는 작은 작업에도 불필요하게 비싼 고성능 모델을 사용하는 비효율을 제거했음을 단적으로 보여줍니다. 개인적으로는 이 부분이 가장 중요한 교훈이라고 생각합니다. AI 도입의 핵심은 무조건 가장 최신/최강의 모델을 사용하는 것이 아니라, 각 작업에 최적화된, 가장 비용 효율적인 모델을 적재적소에 배치하는 스마트한 전략에 있다는 것을 Rippling은 몸소 증명했습니다. 많은 기업들이 AI 도입 시 이 점을 간과하고 무조건 ‘비싼 모델=좋은 모델’이라는 편견에 사로잡히기 쉽죠.
엔지니어링을 넘어, AI의 생산성 연결고리
Rippling은 기술적인 해결책만으로는 부족하다고 지적합니다. 효과적으로 AI를 사용하는 직원들을 “AI 캡틴”으로 지정하여 다른 직원들을 돕도록 하는 등, 조직문화적인 접근도 병행했습니다. 아직까지 AI 활용은 소프트웨어 엔지니어 중심이지만, Rippling은 고객 온보딩 팀에서 메일링 데이터 자동화 및 데이터 조정 작업을 위해 AI를 도입하는 등, 엔지니어링 외 부서로의 확장을 모색하고 있습니다. 이 경우 대시보드는 온보딩 고객 수 증가를 통해 생산성을 측정하게 될 것입니다.
맥이니스 CPO는 “G&A(일반 관리) 기능과 고객 대면 기능에서의 토큰 소비를 생산성과 연결할 수 있어야 한다”며, “그렇지 못한다면 이러한 모든 것들이 더 넓은 직원들에게 제공될 가능성은 희박하다”고 강조했습니다. 이 발언은 AI가 Slack이나 이메일처럼 전사적으로 무조건 보급되는 도구가 아닐 수도 있다는 점을 시사합니다. 만약 기업이 AI 활용의 생산성을 명확히 측정할 수 없다면, 모든 직원에게 AI 접근 권한을 부여하지 않을 수도 있다는 것이죠. 이는 AI 도입의 미래와 관련하여 매우 중요한 관점 변화를 의미합니다. 단순히 ‘첨단 기술’이라서 도입하는 것이 아니라, 명확한 ROI(투자수익률)를 보여줄 수 있을 때만 확장될 수 있다는 현실적인 접근 방식입니다.
Rippling의 AI Spend Console은 HR 구독자들에게 추가 AI 사용량 기반 비용으로 제공되며, 독립형 제품으로 구매하여 다른 HR 시스템과 통합할 수도 있다고 합니다. AI 도입의 초기 과열 양상 속에서 Rippling은 자사의 경험을 통해 기업들이 AI를 어떻게 더 현명하고 효율적으로 사용할 수 있을지에 대한 중요한 이정표를 제시했습니다. 이제 많은 기업들은 이 사례를 통해 자신들의 AI 전략을 되돌아보고, 비용 효율성과 생산성을 동시에 잡는 균형 잡힌 AI 도입 및 활용 전략을 모색해야 할 때입니다.
출처
- 원문 제목: After Rippling blew millions on AI in months, it built an employee ROI tool
- 출처: AI News & Artificial Intelligence | TechCrunch
- 원문 기사 보러가기
