블랙박스 속 자율주행차, 드디어 속마음을 털어놓다!

우리는 과연 스스로 움직이는 자동차를 완전히 믿고 맡길 수 있을까요? 고요한 도로 위를 달리던 자율주행차가 갑자기 급정거합니다. 눈앞에는 아무런 위험도 보이지 않는데 말이죠. 만약 당신이 그 차에 타고 있었다면, 어떤 생각이 들었을까요? 아마 “대체 왜 멈춘 거지?”, “무슨 문제가 생긴 건가?” 하는 의문과 함께 불안감이 엄습했을 겁니다. 현대 자율주행 시스템은 복잡한 **신경망(Neural Network)**에 의존하며, 이 신경망은 엄청난 양의 데이터를 학습해 놀라운 성능을 발휘합니다. 하지만 문제는 이들이 어떻게 그런 결정을 내리는지 그 **‘이유’**를 설명해주지 않는다는 데 있습니다. 마치 속을 알 수 없는 **‘블랙박스(Black Box)‘**와도 같죠. 이러한 불투명성은 자율주행 기술의 광범위한 채택과 대중의 신뢰를 얻는 데 가장 큰 걸림돌 중 하나였습니다.

블랙박스를 열어젖히는 열쇠: CW-Net의 등장

바로 이 중대한 문제에 대한 해답을 **모셔널(Motional)**과 **MIT 컴퓨터과학 및 인공지능 연구소(CSAIL)**의 연구팀이 제시했습니다. 그들은 자율주행차가 자신의 의사결정을 실시간으로, 그리고 인간이 이해할 수 있는 언어로 설명하게 하는 시스템을 구축했는데, 이 혁신적인 연구는 세계적인 과학 저널인 **네이처(Nature)**에 게재되며 큰 주목을 받았습니다. 이들이 제안한 방법은 바로 콘셉트-래퍼 네트워크(Concept-Wrapper Network), 줄여서 CW-Net이라고 불립니다.

CW-Net의 핵심 아이디어는 자율주행 시스템 내부의 복잡한 계산 과정을 “정지 차량에 접근 중”, **“자전거 탑승자에 근접”**과 같은 인간 친화적인 개념으로 변환하는 것입니다. 상상해보세요. 대시보드에 현재 차량의 주행 결정에 영향을 미 미치는 개념들이 실시간으로 표시된다면 어떨까요? 우리는 차량이 왜 특정 행동을 하는지 그 이유를 명확하게 알 수 있게 되는 겁니다. 개인적으로 이 부분이 가장 인상 깊었습니다. 기존의 설명 가능한 AI(Explainable AI, XAI) 연구가 주로 사후 분석이나 시뮬레이션 환경에 머물렀던 것과 달리, CW-Net은 실제 차량의 최종 의사결정 시스템이 바로 이 **인간 해석 가능 개념(human-interpretable concepts)**을 기반으로 작동한다는 점에서 차원이 다릅니다. 이는 단순히 “이럴 것이다”라고 추측하는 사후 설명이 아니라, **“이 개념 때문에 이런 행동을 했다”**는 **인과적 신뢰성(Causally Faithful)**을 제공한다는 의미입니다. 즉, 브레이크를 밟았다면, 그 행동의 직접적인 원인이 된 특정 개념을 정확히 추적할 수 있다는 것이죠. 솔직히 말해서, 이처럼 투명한 의사결정 과정이 없다면 아무리 높은 자율주행 레벨이라도 진정한 의미의 신뢰를 얻기는 어렵다고 생각합니다.

모셔널의 CEO 로라 메이저(Laura Major)는 **“일반적인 종단 간(end-to-end) 딥러닝 방식은 80~90% – 어쩌면 95%까지도 – 매우 훌륭한 솔루션을 제공할 수 있지만, 이는 운전자를 완전히 제거하거나 도시, 지역 사회, 고객의 신뢰를 얻기에 충분하지 않다”**고 강조했습니다. 완벽에 가까운 성능도 중요하지만, 그에 못지않게 ‘왜’ 그렇게 작동했는지 이해시키는 것이 사람들의 마음을 얻는 데 필수적이라는 의미일 겁니다.

라스베이거스 도로 위에서 밝혀진 놀라운 진실들

이론이 아무리 훌륭해도 실제 세상에서 통하지 않으면 무용지물입니다. 모셔널과 MIT 연구팀은 CW-Net을 실제 자율주행 차량에 탑재하고, 숙련된 안전 운전자가 탑승한 채 라스베이거스 주변의 사설 테스트 트랙과 공공 도로에서 데이터를 수집하며 시스템을 검증했습니다. 이 과정에서 CW-Net의 진정한 가치가 드러나는 두 가지 사건이 발생했습니다.

• 첫 번째 사건: 유령 차량과의 조우. 자율주행차가 교통 콘 근처에서 반복적으로 정지하는 일이 발생했습니다. 안전 운전자는 당연히 콘이 문제라고 생각했지만, 콘을 제거해도 차량은 계속 멈췄습니다. CW-Net의 디스플레이는 놀라운 진실을 보여주었습니다. 차량의 실험적인 **계획 시스템(planning system)**이 “정지된 차량”을 환각(hallucinating)하고 있었다는 겁니다. 이 패턴은 훈련 데이터에서 기인한 것으로 밝혀졌고, 연구진은 덕분에 문제를 이해하고 예측하며 해결할 수 있었습니다. 만약 CW-Net이 없었다면, 연구진은 원인을 찾기 위해 훨씬 더 오랜 시간과 비용을 소모했을 것입니다.

• 두 번째 사건: 자전거 탑승자와의 오해. 자율주행차는 자전거 탑승자를 감지하고 예상대로 정지했습니다. 그러나 CW-Net은 차량의 실험적인 계획 시스템이 실제로는 자전거 탑승자의 존재 때문에 정지한 것이 아니라는 것을 밝혀냈습니다. 사실 차량의 정지는 **안전 백업 시스템(safety backup system)**에 의해 발생한 것이었습니다. 이 정보를 알게 된 안전 운전자는 이후 자전거 탑승자 주변에서 더욱 주의를 기울였고, 후속 분석을 통해 이러한 주의가 정당했음이 확인되었습니다. 이 역시 CW-Net이 없었다면 결코 알 수 없었을 중요한 정보였습니다.

이러한 실제 사례들은 CW-Net이 단순히 연구실 수준의 성과를 넘어, 실제 운영 환경에서 안전 운전자와 개발팀이 직면하는 복잡한 문제를 해결하는 데 얼마나 큰 도움이 되는지 명확하게 보여줍니다. 개인적으로 이 사례들은 XAI가 단순한 ‘설명’을 넘어, 시스템의 ‘진정한 상태’를 파악하고 ‘잠재적 위험’을 미리 인지하게 하는 강력한 진단 도구임을 증명한다고 봅니다.

성능 저하 없이 신뢰를 쌓다

물론, AI 시스템에 설명 가능성이라는 레이어를 추가하는 것은 속도나 성능 면에서 비용을 수반할 수 있습니다. 하지만 모셔널은 CW-Net을 선도적인 자율주행 알고리즘과 비교 평가했을 때, 주행 능력의 차이가 1% 미만이었다고 밝히며 이러한 우려를 불식시켰습니다. 사실 이건 정말 놀라운 성과입니다. 설명 가능성을 확보하면서도 핵심 성능에 거의 영향을 미 미치지 않는다는 것은, 이 기술이 실용적인 적용 가능성이 매우 높다는 것을 의미합니다.

라스베이거스에서 발생한 사건들은 이러한 미미한 성능 저하가 학술적인 의미를 넘어 실제 운영상에서 왜 중요한지를 역설합니다. 환각된 차량 때문에 멈췄다는 사실을 알거나, 주 제어 시스템이 아닌 백업 시스템이 개입했다는 것을 파악한 안전 운전자는 단순히 차량의 행동만 보고 판단하는 운전자보다 훨씬 더 정확하게 상황에 대응하고 보고할 수 있습니다. 이러한 가시성은 엔지니어링 팀이 시스템 문제를 진단하는 속도와 안전 운전자가 의도된 행동과 오류를 구분하는 자신감으로 직결됩니다.

모셔널은 CW-Net 연구가 자율주행 기술이 새로운 시장과 관할 지역으로 확장됨에 따라 자율주행차 운영자들이 받는 압박과도 연결된다고 말합니다. 규제 당국은 AI 시스템이 어떻게 결정을 내리는지에 대해 더 많은 투명성을 요구하고 있으며, CW-Net과 같은 도구들이 연구 프로젝트를 넘어 기본적인 요구 사항이 될 것으로 예상하고 있습니다.

자율주행차를 넘어, **자율 드론(autonomous drones)**이나 **로봇 수술(robotic surgery)**과 같은 다른 안전 필수 영역에서도 운영자와 개발자는 시스템의 능력, 한계, 그리고 예상치 못한 행동을 이해할 수 있는 방법을 필요로 할 것입니다. 이러한 기술들은 생명과 직결되는 만큼, AI의 블랙박스 문제를 해결하는 것은 단순한 기술적 진보를 넘어 사회적 신뢰와 윤리적 책임의 문제로 확장됩니다. CW-Net은 단순히 자율주행차의 ‘마음’을 읽는 것을 넘어, 미래의 모든 안전 필수 AI 시스템이 따라야 할 중요한 이정표를 제시하고 있는 셈입니다. 궁극적으로 인간과 AI가 더욱 신뢰를 기반으로 협력하는 미래를 향한 의미 있는 발걸음이라고 볼 수 있습니다.

---

출처

• 원문 제목: Motional and MIT AI explains self-driving car decisions
• 출처: AI News
• 원문 기사 보러가기