공공 부문 AI 혁신, '작은 거인' SLM에 달렸다? 제약 속 해법 모색!
Published Apr 18, 2026
최근 전 세계적으로 인공지능(AI)의 물결이 거세게 몰아치면서, 민간 기업을 넘어 공공 부문 조직들 또한 AI 도입 가속화에 대한 압박을 느끼고 있습니다. 그러나 정부 기관은 보안, 거버넌스, 운영 방식 등에서 민간 부문과는 확연히 다른 고유한 제약 조건들을 가지고 있습니다. 이러한 특수한 환경에서 AI를 성공적으로 운영하기 위한 현실적인 해법으로, **목적 지향형 소형 언어 모델(SLM)**이 유력한 대안으로 떠오르고 있습니다. 과연 SLM이 공공 부문의 AI 혁신을 이끌 ‘작은 거인’이 될 수 있을까요?
공공 부문 AI 도입, 왜 그렇게 어려운가?
민간 기업들이 클라우드 기반의 대규모 AI 모델을 적극적으로 활용하며 혁신을 주도하는 동안, 공공 부문은 그 속도를 따라가지 못하는 경우가 많습니다. 이는 정부 기관이 직면한 고유한 제약 조건들 때문입니다.
첫째, 데이터 보안과 통제에 대한 엄격한 요구사항입니다. 카프제미니(Capgemini) 연구에 따르면 전 세계 공공 부문 임원 79%가 AI의 데이터 보안에 대해 우려하고 있다고 합니다. 이는 정부 데이터가 갖는 민감성과 그 활용을 둘러싼 법적 의무를 고려하면 충분히 이해할 수 있는 수치입니다. Elastic의 AI 부사장인 Han Xiao는 “정부 기관은 네트워크로 전송하는 데이터 종류에 대해 매우 제한적이어야 한다. 이는 데이터 관리 방식에 많은 제약을 가한다”고 지적합니다. 민간 부문이 일반적으로 클라우드 연결, 중앙 집중식 인프라, 불완전한 모델 투명성 수용, 데이터 이동에 대한 제한적 제약 등을 전제로 AI를 확장하는 것과는 대조적입니다. 정부 기관은 데이터가 항상 통제 하에 있어야 하며, 정보는 검증 가능해야 하고, 운영 중단은 최소화되어야 합니다. 솔직히 말해서, 이런 조건들은 민간 기업이 ‘빠르게 실험하고 실패하며 배우는’ 방식과는 근본적으로 다릅니다.
둘째, 제한적인 인프라와 운영 환경입니다. 많은 공공 기관은 인터넷 연결이 제한적이거나, 신뢰할 수 없거나, 아예 불가능한 환경에서 시스템을 운영해야 합니다. 이는 수많은 유망한 공공 부문 AI 파일럿 프로젝트들이 실험 단계 이상으로 나아가지 못하게 하는 주된 원인입니다. Xiao는 “많은 사람들이 AI의 운영상 과제를 과소평가한다”며, “공공 부문은 모든 종류의 데이터에서 AI가 안정적으로 작동하고, 고장 없이 성장할 수 있기를 원한다. 운영 연속성은 종종 과소평가된다”고 강조합니다. Elastic의 공공 부문 리더 대상 설문조사에 따르면 65%가 실시간으로 대규모 데이터를 지속적으로 사용하는 데 어려움을 겪고 있습니다.
셋째, 하드웨어 및 자원 조달의 어려움입니다. 복잡한 AI 모델 학습 및 접근에 사용되는 그래픽 처리 장치(GPU) 확보 또한 문제입니다. Xiao의 설명처럼, “정부는 민간 부문과 달리 GPU를 자주 구매하지 않으며, GPU 인프라 관리에 익숙하지 않다. 따라서 모델을 실행하기 위한 GPU 접근은 많은 공공 부문에 병목 현상으로 작용한다.” 이러한 복합적인 요인들이 공공 부문의 AI 도입을 가로막는 견고한 장벽이 되고 있는 현실입니다.
소형 언어 모델(SLM): 공공 부문의 맞춤형 AI 솔루션
이러한 공공 부문의 타협 불가능한 요구사항들은 대규모 언어 모델(LLM)의 도입을 어렵게 만듭니다. 하지만 바로 이 지점에서 SLM이 실용적인 대안으로 부상합니다. SLM은 LLM에 비해 훨씬 적은 수의 파라미터(수십억 개 대 수천억 개)를 사용하므로, 컴퓨팅 자원 요구량이 현저히 낮습니다. 이는 곧 로컬 환경에 상주시키기 용이하다는 의미이며, 결과적으로 보안과 통제력을 크게 향상시킬 수 있습니다.
중요한 점은 ‘작다’고 해서 ‘성능이 떨어진다’는 의미는 아니라는 사실입니다. 한 실증 연구에 따르면 SLM이 LLM만큼, 혹은 더 나은 성능을 보이는 경우도 있었습니다. SLM은 대규모 모델 유지 관리의 운영 복잡성을 피하면서도 민감한 정보를 효과적이고 효율적으로 활용할 수 있게 합니다. Xiao는 ChatGPT를 예로 들며 “ChatGPT를 사용해 교정을 하는 것은 쉽다. 하지만 네트워크 접속이 없는 환경에서 자신만의 대규모 언어 모델을 똑같이 원활하게 실행하는 것은 매우 어렵다”고 비유했습니다.
필자의 분석으로는, 이 부분에서 주목할 점은 SLM이 단순히 LLM의 축소판이 아니라, 공공 부문의 니즈에 ‘목적 지향적으로 설계’되었다는 점입니다. 데이터는 모델 외부에 안전하게 저장되고, 질의가 있을 때만 접근됩니다. 신중하게 설계된 프롬프트는 가장 관련성 높은 정보만을 검색하여 더 정확한 응답을 제공합니다. 스마트 검색, 벡터 검색, 검증 가능한 소스 기반 확보와 같은 방법론을 사용하면 공공 부문의 요구 사항에 부합하는 AI 시스템을 구축할 수 있습니다. 이는 데이터를 클라우드로 보내는 대신, AI 도구를 데이터가 있는 곳으로 가져오는 패러다임의 전환을 의미합니다. 가트너(Gartner)는 2027년까지 소규모 전문 AI 모델이 LLM보다 3배 더 많이 사용될 것으로 예측하며 이러한 추세를 뒷받침합니다.
챗봇을 넘어: SLM이 열어갈 공공 서비스의 미래
대부분의 공공 부문 종사자들이 ‘AI’를 들으면 ChatGPT와 같은 챗봇을 먼저 떠올릴 것입니다. 하지만 Xiao는 “우리는 훨씬 더 큰 야망을 가질 수 있다”고 말합니다. SLM은 챗봇 기능을 넘어 정부가 보유한 방대한 데이터를 검색하고 관리하는 방식을 혁신할 수 있는 가장 즉각적인 기회를 제공합니다.
공공 부문은 기술 보고서, 조달 문서, 회의록, 청구서 등 엄청난 양의 비정형 데이터를 가지고 있습니다. 기존의 검색 시스템으로는 이 데이터를 제대로 활용하기 어려웠습니다. 그러나 SLM 기반 시스템은 PDF, 스캔 이미지, 스프레드시트, 녹음 파일 등 다양한 형식의 미디어와 여러 언어의 데이터를 통합하여 인덱싱하고, 맞춤형 응답을 제공하며, 법률 준수를 보장하면서 복잡한 텍스트를 작성할 수 있습니다. Xiao는 “공공 부문은 많은 데이터를 가지고 있지만, 이 데이터를 어떻게 사용해야 할지, 어떤 가능성이 있는지 항상 아는 것은 아니다”라고 말합니다. SLM은 이러한 미활용 데이터의 잠재력을 깨울 수 있는 열쇠가 될 수 있습니다.
더 나아가 AI는 정부 직원들이 접근하는 데이터를 해석하는 데 도움을 줄 수 있습니다. Xiao는 “오늘날의 AI는 그 데이터를 활용하는 방법에 대한 완전히 새로운 시각을 제공할 수 있다”고 강조합니다. 잘 훈련된 SLM은 법적 규범을 해석하고, 공공 협의에서 통찰력을 추출하며, 데이터 기반의 의사 결정을 지원하고, 공공 서비스 및 행정 정보에 대한 접근성을 향상시킬 수 있습니다. 이는 공공 부문이 업무를 수행하는 방식에 극적인 개선을 가져올 수 있습니다.
개인적으로는 이러한 SLM 기반의 접근 방식이 단순히 효율성 증대를 넘어, 정부에 대한 대중의 신뢰도를 높이는 중요한 계기가 될 수 있다고 생각합니다. 투명하고 검증 가능한 정보 제공, 데이터 기반의 합리적인 정책 결정 지원은 궁극적으로 공공 서비스의 질을 향상시키고, 시민들의 참여를 독려하는 선순환을 만들어낼 수 있습니다. LLM이 ‘얼마나 포괄적인가’에 초점을 맞춘다면, SLM은 ‘얼마나 효율적인가’로 대화의 초점을 옮기는 전략적 전환을 보여줍니다.
결론적으로, 공공 부문의 AI 도입은 단순히 최신 기술을 따라가는 것을 넘어, 고유한 보안 및 운영 제약을 극복하며 실질적인 가치를 창출하는 방향으로 나아가야 합니다. 그리고 이 길의 선두에 **소형 언어 모델(SLM)**이 있습니다. SLM은 정부 기관이 데이터를 안전하게 통제하면서도 AI의 강력한 기능을 활용하여 운영 효율성을 높이고, 궁극적으로는 대국민 서비스의 질을 향상시키는 데 결정적인 역할을 할 것입니다. 이제 공공 부문 AI의 미래는 ‘더 크고 복잡한’ 모델이 아닌, ‘더 작고 영리한’ 모델에서 찾아야 할 때입니다.
출처
- 원문 제목: Making AI operational in constrained public sector environments
- 출처: MIT Technology Review
- 원문 기사 보러가기
