[데스크칼럼] 환각 줄인다는 서울시, 정작 증명은 스크린샷 여섯 장뿐

서울시가 AI 환각을 줄인다며 MCP 서비스 도입을 발표했지만, '환각'이라는 광범위한 AI 관련 문제를 모두 해결한 것처럼 오해를 불러 일으키는 것으로 나타났다. / 사진 콕스뉴스가 제미나이(AI)로 생성

서울시는 12일 "AI 환각(할루시네이션 현상) 줄인다… 서울시, 공공데이터 최초 MCP 서비스 개시"라는 제목의 보도자료를 배포했다. 이틀 뒤인 14일부터 서울의 실시간 도시데이터를 AI가 직접 가져다 쓸 수 있게 하는 시범 서비스를 연다는 게 주요 골자다. 인구 혼잡도, 따릉이 잔여대수, 주차장 빈자리 같은 정보를 AI에게 물으면 낡은 데이터로 대충 지어낸 답 대신 실제 최신 수치가 나온다는 설명이 뒤따랐다.

여기까지는 틀린 말이 아니다. 문제는 그다음이다. 이 큰 결론에 이르는 과정에 정작 근거가 없다.

AI가 실시간 정보를 모를 때 아는 척 그럴듯한 숫자를 지어내는 걸 환각이라 부른다. 서울시가 쓴 MCP는 AI가 답하기 전에 실제 데이터를 직접 조회하게 해주는 통로다. 지어내는 대신 확인하고 답하니, 실시간 정보가 필요한 질문에서는 환각이 줄어드는 게 맞다. 업계에서 이미 쓰는 방식이니 서울시가 없는 얘기를 지어낸 것도 아니다.

그런데 근거로 내놓은 건 화면 캡처 여섯 장이 전부다. 따릉이 잔여대수, 홍대 혼잡도, 여의도 주차장 남은 자리, 이 세 가지 질문마다 적용 전후 화면을 하나씩 붙였다. 기술 적용 전엔 AI가 어디서 찾아보라고만 답했고, 적용 후엔 실제 숫자를 답했다더라. 질문 셋, 화면 여섯 장. AI 환각을 줄인다는 정책 발표를 뒷받침하는 근거는 이게 전부다.

숫자가 없다. 같은 질문을 반복했을 때 오답이 몇 번 나왔는지, 기술 적용 전후로 오답 비율이 얼마나 줄었는지 — 이런 측정치 없이 "좋아진다"는 그림 몇 장으로 결론부터 던졌다. '환각'이라는 말도 지나치게 크게 썼다. 이번 서비스가 고치는 건 실시간 정보를 몰라서 헛소리하는 경우, 딱 그 한 가지 유형이다. 없는 사실을 지어내거나, 맥락을 잘못 엮거나, 추론에서 실수하는 다른 환각 유형은 이 기술과 무관하다. AI가 조회 타이밍을 놓치거나 엉뚱하게 조회하면 도구가 있어도 틀린 답은 그대로 나온다. 이 한계에 대한 언급, 보도자료 어디에도 없다. 정확히 쓰면 "일부 실시간 질문에서 틀릴 확률을 낮출 수 있다" 정도가 맞는 표현인데 제목은 "AI 환각을 줄인다"로 못을 박았다.

기술 원리를 몰랐다고 보기는 어렵다. 인과관계 자체는 사실이고, 예시로 든 질문도 실시간 정보가 꼭 필요한 것들로 골랐다. 그러면 답은 하나로 좁혀진다. 몰라서 부풀린 게 아니라, 알면서 검증을 건너뛰고 결론만 가져다 썼다. 과장 홍보다.

시범 서비스는 선착순 100명 규모다. 이 정도 규모에 AI 환각이라는 업계 전체의 화두를 제목으로 올렸다. 기술 검증보다 홍보 효과를 노린 배치로 볼 수밖에 없다. 정말 효과를 증명하고 싶었다면 화면 캡처 대신 오답률 비교표를 붙였어야 했다. 데이터 정확성을 내세우는 정책이 정작 자기 주장의 근거는 데이터 없이 만들었다.