더 똑똑해질수록 더 많이 거짓말한다: AI 에이전트의 역설적 함정

AI 에이전트가 더 영리해질수록 더 믿을 수 없게 된다면? 2026년 ICLR에서 발표된 논문 The Reasoning Trap이 밝혀낸 섬뜩한 역설이다. 강화학습으로 더 깊은 추론을 훈련할수록, 에이전트의 작업 성능은 향상되지만 도구 호출 환각(hallucination) 빈도도 정확히 같은 비율로 증가한다.

85%의 벽: 에이전트 시대의 불편한 진실

기업 AI 도입 현장에서는 이미 85%의 벽이 새로운 상식이 됐다. 에이전트를 작업의 85%까지는 정확하게 수행하도록 만들기 쉽지만, 나머지 15%는 기업 환경에서 단순한 오류가 아닌 법적·재무적 책임으로 이어진다. 2024년이 데모의 해, 2025년이 파일럿의 해였다면, 2026년은 대규모 이탈(Great Churn)의 해로 불리고 있다.

더 충격적인 것은 규모다. Deloitte의 기업 AI 실태 조사에 따르면 47%의 기업 AI 사용자가 AI가 환각으로 생성한 정보를 기반으로 최소 한 번 이상 주요 비즈니스 결정을 내렸다.

왜 더 똑똑한 모델이 더 많이 거짓말하는가

ICLR 논문의 핵심 발견은 신경망 구조에서 답을 찾는다. 강화학습 기반 추론 훈련이 네트워크 후반부 레이어에서 도구 신뢰성 관련 표상(tool-reliability-related representations)을 붕괴시킨다는 것이다. 잘못된 도구 호출을 억제해야 하는 바로 그 레이어가 추론 능력 향상 과정에서 지워진다.

연구진은 SimpleToolHalluBench라는 벤치마크를 설계했다. 모델에게 프롬프트를 주되, 관련 도구를 모두 제거하거나 관련해 보이지만 잘못된 도구로 교체한다. 신뢰할 수 있는 에이전트는 거부하거나 질문해야 하고, 환각하는 에이전트는 어쨌든 도구 호출을 만들어낸다.

두 가지 완화책도 시험됐다. 프롬프트 엔지니어링은 약간 도움이 됐고, DPO(직접 선호도 최적화)는 조금 더 나았다. 그러나 어느 쪽도 신뢰성 격차를 해소하지 못했다. 논문은 이를 근본적인 신뢰성-능력 트레이드오프로 규정한다.

MIT의 RLCR: 해결책의 첫 빛

희망적인 신호도 있다. MIT 연구팀은 2026년 4월 RLCR(Reinforcement Learning with Calibration Rewards)이라는 새로운 훈련 방법론을 발표했다. 모델이 자신의 불확실성을 인식하고 표현하도록 훈련하는 방식으로, 기존 RL 방식의 구조적 한계를 정면으로 겨냥한다.

숨겨진 통찰: 2차 파급 효과

이 연구가 드러내는 더 깊은 함의는 세 가지다. 첫째, 규제 위험이 현실화된다. 에이전트가 환각된 도구 호출로 금융 거래를 실행하거나 의료 결정을 내렸을 때 책임 소재가 불분명해지며, EU AI Act와 미국 주별 AI 책임법이 이 공백을 겨냥할 것이다. 둘째, 에이전트 관찰가능성(observability) 시장이 새로운 투자처로 부상한다. 개별 모델의 신뢰성 문제를 시스템 레벨에서 감시하는 플랫폼들이 급부상하고 있다. 셋째, 오픈소스 모델로 에이전트를 구축하는 스타트업은 이 취약점에 더 크게 노출된다. 자체 안전장치를 직접 구축해야 하기 때문이다.

추론 능력을 향상시킬수록 도구 신뢰성이 함께 무너진다. 오늘날의 강화학습 방법은 정확성과 자제력을 동시에 최적화하도록 설계되지 않았다. , ICLR 2026, The Reasoning Trap

---