AI, 난공불락의 수학 난제를 엿보다: 인류 지식의 새로운 개척자가 될 것인가?
Published Aug 11, 2026
최근 몇 년간 인공지능, 특히 대규모 언어 모델(LLM)의 발전은 과학과 공학 분야 전반에 걸쳐 경이로운 성과를 낳고 있습니다. 단순히 데이터를 분석하고 예측하는 수준을 넘어, 이제는 스스로 가설을 세우고, 복잡한 실험을 설계하며, 심지어는 난해한 수학적 증명을 찾아내는 단계에 이르렀습니다. 이러한 흐름 속에서 AI가 과연 인류 지식의 오랜 한계를 뛰어넘는 새로운 지평을 열 수 있을지에 대한 기대와 우려가 교차하고 있습니다. 특히 인류에게 가장 고유한 지적 활동 중 하나로 여겨져 온 수학 분야에서 AI의 활약은 많은 이들에게 충격과 영감을 동시에 주고 있죠.
150년 난제, 리만 가설과 AI의 도전
수학의 세계에는 수세기 동안 인류의 가장 뛰어난 지성들이 풀지 못하고 남겨둔 난제들이 존재합니다. 그중에서도 **리만 가설(Riemann hypothesis)**은 지난 150년 이상 수학계의 성배로 여겨져 왔으며, 현재도 이 가설을 증명하는 이에게는 100만 달러의 상금이 걸려 있을 정도로 그 중요성과 난이도를 인정받고 있습니다. 소수의 분포에 대한 심오한 미스터리를 품고 있는 이 가설은 현대 수학의 여러 분야와 깊이 연결되어 있어, 이를 증명하는 것은 단순히 하나의 문제를 해결하는 것을 넘어 수학 전체에 혁명적인 파급효과를 가져올 것으로 예상됩니다.
놀랍게도, 최근 Anthropic이 발표한 소식은 이 난공불락의 가설에 대한 AI의 도전이 단순한 시도를 넘어섰음을 보여줍니다. 아직 공개되지 않은 Anthropic의 AI 모델이 리만 가설의 해답 범위, 즉 가설이 참이 되는 해의 **하한(lower bound)**을 획기적으로 끌어올리는 상당한 진전을 이뤄냈다는 것입니다. 물론 아직 가설을 완전히 증명한 것은 아니지만, 이는 현대 AI 모델의 과학적 및 수학적 아이디어 발견 능력에 대한 오래된 질문들을 다시금 수면 위로 끌어올리기에 충분한 성과입니다.
더욱 인상적인 것은 이러한 진전이 이뤄진 방식입니다. 수학적 배경이 특별히 깊지 않은 Anthropic의 한 직원이 모델에게 “가설 증명에 진지하게 도전해 보라”는 간단한 지시를 내렸을 뿐이라는 사실입니다. 모델은 그 후 1.5일 동안 이 과제를 스스로 조율하며 해결책을 모색했습니다. 총 650가지의 다양한 아이디어를 테스트하고, 60개의 하위 에이전트(subagents) 간에 작업을 조율하며 3,100만 개의 출력 토큰을 사용했다고 합니다. 이 복잡한 과정에서 60개의 하위 에이전트 중 단 2개가 핵심 수학적 아이디어를 개발했으며, 13개는 이 아이디어 개발에 기여했고, 30개는 새로운 아이디어 개발을 시도했지만 실패했습니다. 나머지 13개는 논증의 정확성을 검증하는 유효성 검사기(validators) 역할을 수행했고, 최종 2개는 초기 논문 작성에 도움을 주었다고 합니다. 이 결과는 Anthropic 내부의 두 수학자에 의해 확인되었고, 오픈소스 증명 보조 도구인 **린(Lean)**을 사용하여 공식화되었습니다. 이는 AI가 단일한 추론 체계가 아니라, 마치 인간 연구팀처럼 복잡한 분업과 협업을 통해 문제를 해결할 수 있음을 보여주는 강력한 증거입니다.
AI의 수학적 발견, 도구인가 동료인가?
Anthropic의 이번 성과는 대규모 언어 모델(LLM)이 주도하는 일련의 수학적 돌파구 중 가장 최근 사례입니다. 이미 올해 여러 **에르되시 문제(Erdos problems)**들이 AI 모델에 의해 해결되었고, 더욱 강력한 모델의 등장은 더욱 인상적인 결과로 이어지고 있습니다. OpenAI 역시 내부 모델인 **‘아스트라(Astra)’**를 통해 증명된 10가지 주요 결과를 발표했으며, Anthropic의 또 다른 노력은 오랫동안 미해결로 남아있던 **야코비안 추측(Jacobian conjecture)**을 반증하기도 했습니다. 이러한 일련의 결과들은 AI가 이제 더 이상 단순히 계산을 돕는 도구를 넘어, 새로운 수학적 진리를 발견하는 주체로 부상하고 있음을 명확히 보여줍니다.
하지만 이러한 흐름은 수학 분야에서 기대와 동시에 우려를 낳고 있습니다. 지난 6월, 저명한 수학자 그룹은 공동 선언문을 통해 AI가 이 분야의 핵심 가치를 훼손할 수 있다는 우려를 표명했습니다. 특히, 진정한 수학적 증명은 “발견에 대한 공로를 인정하고 정확성에 대한 책임을 지는 특정 저자에게 귀속되어야 한다”는 기준이 AI로 인해 흔들릴 수 있다는 지적입니다. AI가 생성한 증명의 저작권을 누구에게 돌릴 것인가, 그리고 만약 오류가 발견된다면 그 책임은 누가 질 것인가 하는 질문은 인공지능이 발전할수록 더욱 복잡해질 수밖에 없습니다.
개인적으로는 이러한 논쟁 자체가 인공지능이 단순한 도구를 넘어선 존재로 인식되기 시작했음을 보여주는 방증이라고 생각합니다. 과거 계산기나 소프트웨어를 사용했다고 해서 증명의 공로가 도구에 돌아가지 않았던 것과 달리, AI는 마치 인간처럼 추론하고 아이디어를 생성하는 능력을 보여주고 있기 때문입니다.
그럼에도 불구하고, 이 분야는 수학자들이 새로운 연구 기술에 어떻게 접근해야 할지에 대해 여전히 의견이 분분합니다. 선언문에 대한 응답으로, 필즈 메달(Fields Medal) 수상자 티머시 가워스(Timothy Gowers) 교수는 AI의 영향이 수학을 더 복잡하고 긍정적인 방식으로 변화시킬 수 있다고 반문했습니다. 그는 “수학 정리들이 더 이상 수학자들과 연관되지 않는 세상이 온다 해도, 그것이 별들이 천문학자의 이름을 따지 않거나 대부분 이름이 없는 것보다 더 문제가 될 것은 없을 수도 있다”고 언급하며, 관점의 전환을 제안했습니다. 그의 발언은 인류가 오랫동안 고수해온 ‘저작자 중심’의 지식 생산 방식에 대한 근본적인 질문을 던지며, AI 시대의 학문적 가치와 의미에 대해 깊이 성찰하게 만듭니다.
업계 흐름을 보면, 미래에는 AI가 생성한 ‘잠정적 증명’을 인간 수학자들이 검증하고 다듬는 협력적인 모델이 더욱 보편화될 가능성이 높습니다. 이는 수학적 발견의 속도를 획기적으로 가속화할 수 있지만, 동시에 전통적인 ‘수학자’의 역할과 정의에 대한 근본적인 질문을 던지기도 합니다. AI가 복잡한 퍼즐의 조각들을 맞춰주는 동안, 인간의 역할은 그 그림의 의미를 해석하고, 더 큰 맥락 속에서 새로운 방향을 제시하는 것으로 진화할 수 있습니다. 리만 가설과 AI의 만남은 단순한 기술적 성과를 넘어, 인류 지식 탐구의 본질과 미래에 대한 중요한 대화를 시작하는 계기가 될 것입니다.
출처
- 원문 제목: An unreleased Anthropic model made progress on one of math’s biggest unsolved problems
- 출처: AI News & Artificial Intelligence | TechCrunch
- 원문 기사 보러가기
