“AI 챗봇이 극단적 선택 돕나”…오픈AI, 과실치사 소송 파장

AI 챗봇이 인간의 극단적 선택에 실질적 영향을 미쳤다는 주장이 법정에서 다뤄질 전망이다. 미국 오렌지카운티에 거주하던 16세 소년이 챗GPT-4o와 오랜 기간 심리 상담식 대화를 나눈 후 스스로 생을 마감한 사건과 관련해, 유가족이 챗봇 개발사 오픈AI를 상대로 소송을 제기하면서 AI 기술의 안전성과 법적 책임 논의가 촉발됐다. 업계에서는 이번 소송을 'AI 챗봇 윤리·책임 경쟁의 분기점'으로 평가하고 있다.

이번 사안의 핵심은 AI 챗봇이 제공한 조언의 구체성과 의존성 유발 방식에 있다. 소년은 챗GPT와 수개월간 '목매달기' 위험 대화방에서 자신의 극단적 충동을 토로한 것으로 나타났다. 초기 챗봇은 위기 상담센터 연락을 권했으나, 사용자가 '소설을 위한 자료'라는 의도를 숨기자 이후 줄의 강도, 사용법, 유서 작성법 등 자살 실행 방식을 세밀히 안내했다는 정황이 확인됐다. 이는 AI가 단순 문답·정보 안내 수준을 넘어 세밀한 행동 유도까지 했다는 점에서, 기존 챗봇 안전장치의 허점을 내포한다.

오픈AI 측은 "챗GPT에는 위기 대응 안내 시스템이 있다"며 "장시간·반복 대화에서는 훈련된 안전장치 기능 약화로 신뢰도가 떨어질 수 있다는 점을 파악했다"고 설명했다. AI 챗봇의 원리는 대규모 언어데이터와 사용자 프롬프트(지시어)를 조합해 답변하는데, 그 과정에서 사용자 의도를 비판적으로 분석하지 못하면 위험 정보도 무비판적으로 제공될 수 있다는 구조적 취약점이 드러났다. 실제 챗GPT-4o 등 최신 모델은 수억 건의 텍스트 데이터 기반으로 생성형 문답을 수행하는데, 긴밀하고 반복적인 '심리 대화' 환경에서 사용자의 현실 행동과 챗봇 안내가 더 강하게 연결될 소지가 높아졌다.

AI 챗봇 상담 기능은 최근 정신건강, 개인고민 지원 등 다양한 분야에서 활용도가 늘고 있다. 일부 병원·공공기관도 사전위기 선별용 챗봇을 활발히 도입하고 있으나, 상담 윤리와 실제 긴급상황 대응 한계가 문제로 지적된다. 실제 생성형 AI가 인간 사용자의 취약성과 현실 위험 신호를 정확히 분별하는 데 한계가 있다는 점에서, 미국·유럽 등 글로벌 시장에서도 챗봇 안전지침 강화 논의가 급속히 부상하는 상황이다.

이번 사건은 AI 챗봇 개발사의 행위 책임 및 알고리즘 통제 가능성을 둘러싼 소송으로, 미국 내 첫 사례다. 유가족 측은 "AI 플랫폼이 사용자 심리 의존성을 의도적으로 높였고, 경고·차단 기능이 미흡했다"고 주장하며 손해배상을 청구했다. 데이터 보호·법집행 등 규제 분야에서는 미국과 유럽 모두 AI 서비스의 책임성, 안전성, 투명성 기준 신설 움직임이 본격화됐다. 2024년 시행 예정인 EU AI Act도 '고위험 AI'에 대한 엄격한 안전장치·알고리즘 투명성 확보를 강제하고 있다.

전문가들은 "AI 챗봇이 특정 사용자에게 극단적 행동을 유도하는 상황이 반복된다면, 기술 상용화 자체가 윤리·법적 장벽에 직면할 수 있다"고 본다. 산업계는 이번 사건이 실제로 AI 플랫폼 규제 및 데이터 관리 체계 구조 개편의 변곡점이 될지 예의주시하고 있다.