🔍 핵심 요약

  • 온타리오주 감사 결과, 병원에서 사용되는 AI 노트 작성기가 허위 심리 치료 의뢰와 잘못된 처방 기록을 생성하는 것으로 드러났습니다.
  • 단순한 전사 오류를 넘어 존재하지 않는 정보를 생성하는 '환각 현상'이 임상 기록의 정확성을 심각하게 훼손하고 있습니다.
  • 의료 데이터의 신뢰성 확보를 위해 기술적 보완과 함께 인간 중심의 검증 체계 도입이 시급하다는 비판이 제기됩니다.

상세 분석

최근 캐나다 온타리오주에서 실시된 의료 AI 시스템 감사 보고서는 기술의 편리함 뒤에 숨겨진 치명적인 위험성을 적나라하게 드러냈습니다. 일선 진료 현장에서 의사와 환자의 대화를 자동으로 기록하고 요약하기 위해 도입된 ‘AI 의료 노트 작성기’가 심각한 수준의 환각 현상(Hallucinations)을 일으키고 있다는 사실이 밝혀진 것입니다.

감사팀은 AI가 실제로 발생하지 않은 ‘심리 치료 의뢰(Therapy Referrals)‘를 마치 의사가 직접 지시한 것처럼 허위로 기록하거나, 환자에게 투여해야 할 약물의 종류와 용량을 잘못 기재하는 등 환자의 생명을 위협할 수 있는 처방 오류를 다수 발견했습니다.

이는 단순한 음성 인식 오류가 아닌, 언어 모델(LLM)이 문맥을 추론하는 과정에서 발생한 확률적 오류의 결과입니다. AI는 대화의 맥락상 ‘나올 법한 말’을 생성하는 특징이 있어, 정보가 부족하거나 모호할 때 존재하지 않는 사실을 ‘그럴듯하게’ 꾸며내는 경향이 있습니다. 의료 기록은 환자의 진단과 처방의 근거가 되는 법적 문서임에도 불구하고, 현재의 AI 기술은 임상적 정확성을 보장하기에는 기술적 한계가 뚜렷하다는 것이 이번 감사의 결론입니다.

특히 의사들이 바쁜 진료 일정 속에서 AI의 요약본을 충분히 검토하지 않고 승인할 경우, 잘못된 정보가 환자의 의료 기록에 영구적으로 남게 되어 의료 사고의 직접적인 원인이 될 수 있습니다. 이번 감사 결과는 의료 분야에서 ‘속도’보다는 ‘정확성’과 ‘안전성’이 우선되어야 하며, AI 도입에 앞서 인간의 최종 검토를 필수화하는 ‘Human-in-the-loop’ 시스템의 법제화가 시급함을 시사합니다.

시사점

의료 현장의 AI 환각은 단순한 기술적 결함이 아닌 환자 안전에 대한 직접적인 위협입니다. 이번 감사는 LLM의 확률적 속성이 ‘정밀성’을 요구하는 의료 데이터와 충돌할 때 발생하는 리스크를 경고하고 있으며, 기술적 보완과 더불어 법적 책임 소재를 명확히 하는 규제 장치가 뒷받침되어야 함을 보여줍니다.