🔍 핵심 요약

  • 남아프리카공화국 통신디지털부(DCDT)가 작성한 국가 AI 정책 초안에서 AI가 생성한 '가짜 인용문'이 대량 발견되어 정책 신뢰도가 추락했습니다.
  • 해당 정책안은 6대 기관(옴부즈맨, 안전 연구소 등)과 5대 거버넌스 축(윤리, 인프라 등)을 제안했으나, 정작 기초 문헌의 실체가 없는 것으로 밝혀졌습니다.
  • 이번 사건은 고도의 정확성을 요구하는 공공 정책 수립 과정에서 인간의 검증(Human-in-the-loop)이 생략될 때 발생하는 AI 할루시네이션의 위험성을 단적으로 보여줍니다.

상세 분석

남아프리카공화국 통신디지털부(DCDT)가 수개월에 걸쳐 준비한 국가 인공지능 정책 초안이 ‘AI 할루시네이션’이라는 치명적인 기술적 결함으로 인해 거센 비판에 직면했습니다. 정부는 이번 정책을 통해 국가 AI 위원회, AI 윤리 위원회, AI 규제 당국, AI 옴부즈맨, 국립 AI 안전 연구소, 그리고 AI 보험 슈퍼펀드라는 6개 핵심 기관을 설립하겠다는 야심 찬 계획을 발표했습니다. 또한, 숙련도 역량 강화, 책임 있는 거버넌스, 윤리적 기반, 인프라 확충, 연구 및 혁신이라는 5대 거버넌스 축을 설정하여 체계적인 AI 관리 시스템을 구축하고자 했습니다.

하지만 전문가들의 검토 과정에서 이 문서가 정책의 근거로 인용한 수많은 학술 문헌과 법률적 선례들이 실제로는 존재하지 않는 ‘가짜’라는 사실이 드러났습니다. 정책 초안 작성을 위해 활용된 거대언어모델(LLM)이 그럴싸한 문장을 생성하는 과정에서 있지도 않은 전문가의 말을 꾸며내고 존재하지 않는 보고서를 인용한 것입니다. AI를 안전하게 관리하겠다며 세운 ‘AI 안전 연구소’와 ‘AI 옴부즈맨’ 설립안 자체가 AI의 오작동에 기반해 작성되었다는 점은 뼈아픈 역설입니다.

이번 사례는 공공 행정과 입법과 같은 고신뢰 분야에서 AI를 보조 수단이 아닌 주도적 도구로 사용할 때, 데이터의 진위 여부를 가려낼 ‘인간의 개입(Human-in-the-loop)’ 프로세스가 부재할 경우 어떤 참담한 신뢰도 상실로 이어지는지를 명확히 보여주는 글로벌 반면교사가 되었습니다.

시사점

AI 안전과 윤리를 규제하겠다는 정부의 공식 문서가 정작 AI의 가장 취약한 지점인 ‘환각 현상’에 의해 오염되었다는 사실은 기술적 아이러니의 정점입니다. 이는 ‘인간의 최종 검증’ 없는 자동화된 행정 프로세스가 국가의 법적 정당성을 얼마나 쉽게 훼손할 수 있는지를 경고합니다.