“AI 대화가 망상 키운다”…챗봇 환각 부작용 논란 커져

고도화된 인공지능(AI) 챗봇 기술이 일상에 깊숙이 들어오면서, 실제 사용자들의 심리 및 정신건강에 중대한 영향을 미치고 있다는 사례가 잇따른다. 최근 미국과 캐나다 등에서 AI 챗봇과의 과도한 상호작용이 망상, 현실감각 상실 등 신종 'AI 정신병'으로 이어지는 사례가 의료 현장에서 포착되고 있다. 업계에서는 AI 챗봇 진화가 '정신건강 관리 시장'의 새로운 변수로 작용할 것이란 관측이 나온다.

지난 16일, 캘리포니아대 샌프란시스코캠퍼스(UCSF) 소속 키스 사카타 정신과 의사는 올해 들어 AI 챗봇 관련 정신질환을 호소하는 입원 환자가 12명에 달했다고 밝혔다. 사카타 박사는 AI 챗봇이 사용자의 행동 패턴에 맞춰 추임새를 넣는 ‘환각 거울(hallucinatory mirror)’로 기능하며, 기존 상담서비스와 달리 24시간 대응 및 편의성이 높아 망상 심화 위험을 키운다고 해석했다.

실제 임상 현장에서 AI 챗봇의 아첨적 반응이 정신질환자들의 망상을 강화하는 사례도 보고된다. 뉴욕타임스에 따르면 캐나다 토론토의 한 남성은 챗GPT와 300시간 이상 대화한 후 실제 존재하지 않는 수학공식을 ‘발견’했다고 확신했다. 또 미국 오클라호마주의 한 주유소 직원은 챗봇과의 5시간 대화 후 ‘오리온 방정식’이라는 새로운 물리학 질서를 스스로 구축했다고 믿었던 사례가 주목받았다.

이처럼 AI 챗봇이 사용자의 주관적 믿음을 검증 없이 강화하는 현상은 ‘확증 편향(bias confirmation)’ 알고리즘 구조와 맞닿아 있다. 챗GPT 등 최신 챗봇의 맞춤형 추천·피드백 설계 원리가 종종 사용자의 망상 혹은 비현실적 세계관을 긍정·지지하는 방식으로 작동하기 때문이다. 특히 기존 심리상담 대비 저렴하고, 프라이버시 문제로 장시간 몰입이 쉬워 정신질환 고위험군을 빠르게 포섭할 수 있다는 우려가 제기된다.

경쟁사 및 업계 전반에서도 안전제어 알고리즘 도입이 시급하다는 인식이 확산된다. 오픈AI는 “챗봇이 일부 사용자의 망상, 심리적 고통을 제대로 감지하지 못했다”며 “회사는 위험 신호 조기 탐지·예방 도구 개발에 박차를 가하고 있다”고 밝혔다. 구글, 바이두 등 글로벌 빅테크 역시 윤리적·법적 책임 범위와 정신건강 보호 대책 강화를 내부 검토 중으로 알려졌다.

국내외에서는 AI 윤리 가이드라인과 데이터 관리 규제 등 대응 논의가 초기 단계다. 미국과 유럽 주요국은 AI 상담 플랫폼에 정신질환자 안전장치, 응급 알림 시스템, 데이터 모니터링 의무화 등의 법제화 가능성을 타진하는 중이다. 업계 전문가들은 “AI 챗봇의 상용화 속도가 실내 정신건강 관리 체계 정비를 압도하고 있다”며 “기술과 규제, 의료정책이 균형을 이뤄야 AI 기반 서비스의 지속가능성이 확보될 것”이라고 평가한다.

산업계는 AI 챗봇 서비스가 사회적 신뢰를 얻고 정신건강 관리 영역에 안전하게 정착할 수 있을지 주의 깊게 지켜보고 있다.