트랜스포머 아키텍처의 한계 돌파: LLM의 미래를 바꿀 차세대 기술 전쟁
Published Aug 10, 2026
최근 AI 업계는 거대 언어 모델(LLM)의 폭발적인 성장과 함께 컴퓨팅 자원 소모량에 대한 경고음이 커지고 있습니다. 천문학적인 학습 및 운영 비용은 물론, 막대한 전력 소비로 인한 환경 문제까지 제기되면서, 과연 현재의 LLM 성장 방식이 지속 가능한가에 대한 근본적인 질문이 던져지고 있죠. 이는 비단 비용 문제에 국한되지 않습니다. LLM이 더 복잡하고 고차원적인 추론 능력을 갖추고 방대한 정보를 동시에 처리해야 하는 미래를 생각할 때, 기존 기술의 한계는 더욱 명확해지고 있습니다. 우리는 지금, 지난 몇 년간 LLM 시대를 지배해온 핵심 아키텍처의 전환점을 목도하고 있는지도 모릅니다.
트랜스포머: AI 시대의 강력한 엔진, 그러나…
2017년 구글의 AI 연구자들이 발표한 “Attention Is All You Need” 논문은 인공지능 역사에 한 획을 그었습니다. 이 논문에서 소개된 **트랜스포머(Transformer)**라는 새로운 신경망 아키텍처는 특히 긴 시퀀스 데이터를, 그중에서도 텍스트를 처리하는 데 탁월한 성능을 보였고, 이는 곧 대규모 언어 모델(LLM) 개발의 토대가 되었습니다. 지난 9년 동안, 시장에 나와 있는 모든 주요 LLM은 트랜스포머를 엔진으로 삼아 발전해왔습니다. AI 스타트업 서브쿼드래틱(Subquadratic)의 공동 창립자이자 CEO인 저스틴 댄겔(Justin Dangel)은 “전체 AI 산업이 트랜스포머 위에 구축되어 있으며, 이는 컴퓨터 과학 역사상 가장 중요한 혁신 중 하나이며 세상을 바꿔놓았다”고 평가할 정도죠.
하지만 영원한 기술은 없습니다. 트랜스포머 역시 이제 ‘나이를 먹어가고 있다’는 평가를 받기 시작했습니다. 최근 LLM의 진전, 가령 **추론 모델(reasoning models)**의 개발이나 대량의 입력 데이터를 한 번에 처리하는 능력 등은 트랜스포머 핵심 기술의 깔끔한 확장이라기보다는, 그 근본적인 결함을 보완하기 위한 일종의 **해결책(workaround)**에 가깝다는 지적입니다. 상당수의 과학자 및 엔지니어들은 다음 단계가 무엇일지 묻기 시작했습니다. MIT 테크놀로지 리뷰는 이러한 미래 세대 모델을 **LLMs+**라고 명명하며, LLM이 사라지지는 않겠지만 그 구축 방식이 크게 변화할 것이라고 예측했습니다.
비용과 성능, 두 마리 토끼를 놓친 트랜스포머의 딜레마
트랜스포머의 핵심 강점은 **밀집 어텐션(dense attention)**이라는 메커니즘에 있습니다. 이는 텍스트 블록의 의미를 일련의 숫자로 인코딩하는 과정인데, 텍스트 내의 모든 단어(또는 토큰)를 다른 모든 단어와 일종의 곱셈을 통해 비교하는 방식으로 작동합니다. 이 밀집 어텐션은 텍스트의 의미를 놀랍도록 정확하게 포착할 수 있습니다. 문제는 텍스트 길이가 길어질수록 필요한 계산량이 기하급수적으로 늘어난다는 점입니다. 예를 들어, 1만 단어 길이의 문서를 처리하려면 트랜스포머는 5천만 번의 곱셈 연산을 수행해야 할 수 있습니다. 바로 이것이 LLM이 엄청난 전력을 소비하는 주된 이유입니다.
비용은 상상 이상입니다. OpenAI의 그렉 브록만 사장에 따르면, OpenAI는 올해 컴퓨팅에 500억 달러를 지출할 예정입니다. 국제에너지기구(IEA)는 데이터 센터의 총 전력 소비량이 2030년까지 두 배로 증가할 것이라고 예측하고 있습니다. 솔직히 말해서, 이러한 속도는 지속 가능해 보이지 않습니다.
더욱이, 트랜스포머는 최신 모델들이 목표로 하는 바를 수행하는 데 어려움을 겪습니다. 단어별로 텍스트를 처리하는 방식 때문에, 트랜스포머는 한 번에 많은 정보를 추적하는 데 능숙하지 못합니다. 즉, **컨텍스트 창(context window)**을 너무 크게 만들 수 없습니다. 하지만 LLM이 더 어려운 작업을 수행하려면, 전체 문서 라이브러리, 전체 코드베이스, 또는 에이전트의 경우 다른 LLM의 출력과 같은 방대한 양의 데이터를 처리해야 합니다. 추론 모델은 스스로에게 메모를 작성하고(사고의 사슬, chain of thought라고 알려진 일종의 스크래치 패드에서) 이를 다시 읽어 들이는 방식으로 작동하는데, 이는 또다시 추적해야 할 데이터 양을 증가시킵니다. 결과적으로, LLM이 더 커지고 더 좋아질수록 트랜스포머는 병목 현상이 되고 있습니다. 한때 핵심 강점이었던 기술이 이제는 한계로 작용하는 아이러니한 상황이죠.
차세대 LLM 아키텍처, 스타트업들의 대담한 도전
이러한 트랜스포머의 문제점을 해결하기 위해 새로운 아이디어들이 속속 등장하고 있습니다. 이 혁신들은 LLM을 더 빠르고, 훨씬 효율적이며, 어쩌면 더 똑똑하게 만들 잠재력을 가지고 있습니다. 그 중심에는 과감한 도전을 하는 스타트업들이 있습니다. 이들은 오늘날 선두에 있는 거대 기업들보다 잃을 것이 적고 얻을 것이 많기에, 더욱 자유롭게 실험하고 기존의 틀을 깨고 있습니다.
1. 희소 어텐션(Sparse Attention): 어텐션의 효율성 재정의
LLM을 더 빠르고 저렴하게 만드는 가장 직접적인 방법은 어텐션이 작동하는 방식을 바꾸는 것입니다. 밀집 어텐션을 희소 어텐션으로 대체하는 것이 그 핵심입니다. 희소 어텐션은 텍스트 블록 내의 모든 단어 쌍이 아닌, 일부 단어 쌍에 대해서만 계산을 수행하여 LLM이 수행해야 할 계산량을 획기적으로 줄일 수 있습니다.
수년 동안 연구자들은 다양한 희소 어텐션 메커니즘을 개발해왔습니다. 문제는 그 어떤 것도 의미를 포착하는 데 있어 밀집 어텐션만큼 좋지 않았다는 점입니다. 하지만 이제 상황이 바뀌었을지도 모릅니다. 마이애미에 본사를 둔 스타트업 **서브쿼드래틱(Subquadratic)**은 검색 및 코딩을 포함한 여러 작업에서 최고 수준의 주류 LLM에 필적하는 최초의 희소 어텐션 메커니즘을 발명했다고 주장합니다. 이는 엄청난 주장이며, 업계 일부에서는 여전히 회의적인 시각을 보내고 있습니다. 개인적으로, 이러한 주장은 신중하게 검증되어야 한다고 생각합니다. 기존 트랜스포머의 성능을 단순히 따라잡는 것을 넘어, 실제로 더 복잡한 추론이나 미묘한 의미 파악에서도 우위를 점할 수 있는지는 실제 벤치마크와 광범위한 테스트를 통해 입증되어야 할 것입니다. 만약 이들의 주장이 사실이라면, LLM의 연산 효율성은 엄청난 도약을 맞이할 수 있을 것입니다.
서브쿼드래틱은 자사의 모델인 SubQ가 주어진 텍스트 조각에 대해 어떤 단어가 중요하고 어떤 단어가 중요하지 않은지 즉석에서 파악하여 작동한다고 설명합니다. 이 회사는 수천 명이 대기자 명단에 등록했으며, 곧 모델을 널리 공개할 계획이라고 밝혔습니다.
2. 파워 리텐션(Power Retention): 어텐션을 넘어선 새로운 기억 방식
샌프란시스코에 본사를 둔 스타트업 **매니페스트 AI(Manifest AI)**는 다른 각도에서 문제에 접근하고 있습니다. 이들은 어텐션 작동 방식을 바꾸는 대신, 아예 다른 것으로 대체하고 있습니다.
매니페스트 AI는 파워 리텐션이라고 부르는 메커니즘을 개발했습니다. 이는 특정 작업에 가장 관련성 높은 정보만을 저장하고, LLM이 추적해야 할 데이터 양이 기하급수적으로 늘어나지 않도록 보장합니다.
- 어텐션 메커니즘: LLM이 컨텍스트 창 내의 모든 것을 추적하도록 강제합니다.
- 희소 어텐션(예: SubQ): 많은 개별 단어를 버리지만, 여전히 본 것의 대략적인 그림을 유지합니다.
- 파워 리텐션: 모델에 컨텍스트 창의 **지속적인 요약(rolling summary)**을 제공하는 방식으로 작동합니다. 새로운 정보가 추가되면 덜 관련성 높은 정보는 삭제됩니다.
리텐션의 기본 원리는 이미 10년 전부터 존재했습니다. 매니페스트 AI는 이러한 기술을 업데이트하여 트랜스포머 기반 LLM에 필적할 수 있는 모델을 최초로 구축했다고 주장합니다. 이 부분에서 주목할 점은, 매니페스트 AI가 기존 트랜스포머 모델을 최소한의 재훈련으로 파워 리텐션 모델로 개조하는 것이 가능하다고 밝힌 점입니다. 이는 매우 실용적인 접근 방식이라고 생각합니다. 완전히 새로운 아키텍처를 처음부터 구축하고 학습시키는 막대한 비용과 시간을 절약할 수 있다면, 새로운 기술의 도입 장벽을 크게 낮출 수 있기 때문입니다. 이미 학습된 방대한 지식을 유지하면서 효율성만 높일 수 있다면, 이는 업계 전체에 큰 파급력을 가져올 것입니다.
이를 입증하기 위해, 이 회사는 기존의 오픈 소스 코딩 LLM인 StarCoder를 파워 리텐션을 사용하는 PowerCoder 버전으로 전환했습니다. 또한 알리바바의 인기 오픈 소스 모델인 Qwen의 일부 버전에 필적한다고 주장하는 Brumby라는 모델도 출시했습니다.
LLM의 미래, 효율성과 확장성 사이에서
트랜스포머 아키텍처가 지난 몇 년간 LLM 발전을 이끌어온 것은 부인할 수 없는 사실입니다. 그러나 이제 우리는 그 한계에 직면했으며, 다음 단계로 나아가기 위한 새로운 패러다임이 필요한 시점입니다. 서브쿼드래틱의 희소 어텐션이든, 매니페스트 AI의 파워 리텐션이든, 이 스타트업들의 대담한 시도는 LLM의 미래를 혁신할 잠재력을 가지고 있습니다. 이들의 기술이 성공적으로 검증되고 상용화된다면, LLM은 지금보다 훨씬 더 저렴하고, 빠르며, 방대한 데이터를 효율적으로 다루는 ‘LLMs+’ 시대를 열 수 있을 것입니다. 이는 곧 AI가 더욱 폭넓은 분야에 스며들어 우리의 삶을 근본적으로 변화시키는 계기가 될 것이 분명합니다. 어떤 기술이 최종 승자가 될지는 아직 미지수지만, 하나 분명한 것은 AI의 발전은 결코 멈추지 않는다는 사실입니다.
출처
- 원문 제목: These startups are chasing the next big thing in LLMs
- 출처: MIT Technology Review
- 원문 기사 보러가기
