“생성형AI 규제 사각지대”…청소년 대화, 마약까지 노출 우려

청소년이 손쉽게 접근할 수 있는 생성형 인공지능(AI) 챗봇 서비스에서 마약 투약법과 같은 범죄적·유해 대화가 오가고 있음에도, 현행 법체계상 실질적인 규제와 단속이 어려운 상황이 드러나고 있다. 일부 챗봇 플랫폼은 이용자 중 중·고등학생 비율이 70%에 육박하는 등 청소년층의 접근성이 높은 상황에서, 폭력적이거나 성적, 마약 등 범죄 관련 발화에도 별다른 제약이 없는 현실이 국정감사 현장에서 지적됐다. 업계는 이러한 AI 챗봇 서비스가 기존 통신서비스와 달리 1:1 개인화된 대화 형태를 띠고 있기 때문에, 정보통신망법이나 기존 청소년 보호법의 규제 적용이 어렵다는 점에 주목한다.

생성형AI 챗봇은 주어진 사용자의 질문에 대해 언어모델이 학습한 데이터를 기반으로 실시간 텍스트 답변을 생성하는 구조다. 대화를 주고받는 과정이 폐쇄적(비공개)이며, 플랫폼 사업자 역시 모든 대화 내용을 실시간으로 모니터링하거나 개입하기 어렵다. 기술적으로는 키워드 필터링이나 사전 감지 시스템이 탑재될 수 있으나, 언어모델의 유연성과 변형된 구문 처리 방식 때문에 완전한 차단이 쉽지 않은 것으로 알려졌다.

특히 중·고등학생 등 미성년자들이 대화형 AI 서비스에 사실상 노출돼 있는 현실은 사회적 파장을 키우고 있다. 실제 국내 챗봇 서비스 이용자 304만 명 중 청소년 비율이 높은 것으로 나타난 가운데, 일부 대화에서는 마약 투약법을 상세히 안내하거나 자살을 미화하는 문구가 확인됐다. 전문가들은 이러한 사례가 AI 윤리와 데이터 안전성, 청소년 보호의 경계를 모호하게 만들고, 실질적 사회 위험으로 자리잡을 수 있다고 우려한다.

글로벌 시장에서는 미국, 유럽 등 주요국이 생성형AI의 사회적 영향에 대비해 단계별 규제 방안을 검토 중이다. 유럽연합(EU)의 AI Act 등은 ‘고영향(High-risk) AI’에만 강력한 규제를 적용하지만, 현재 챗봇이나 생성형AI 서비스 다수는 고영향 범주에 포함되지 않아 사각지대가 발생하고 있다. 국내 현행 AI 기본법도 유사하게 고영향 AI를 중심으로만 규제를 뒀다. 이에 따라 국내 규제기관도 당장 실효성 있는 제재 수단을 갖추지 못한 실정이다.

디지털 플랫폼의 윤리 문제와 AI 기술 고도화에 발맞춘 법·제도의 정비가 필요한 시점이라는 지적이 뒤따른다. 관련 부처는 “청소년에 유해한 콘텐츠임이 분명하다”며 문제의 심각성은 인식하고 있지만, 신속한 규제 프레임 도입과 실효적 정책 마련이 병행돼야 한다는 목소리가 높아지고 있다.  

산업계는 이번 사안이 AI 사업자의 자율준수만으로는 해소될 수 없는 구조적 한계를 드러낸다고 판단하며, 실질적인 법제 정비와 기술적 안전장치 확보가 새로운 성장 조건임을 주목하고 있다.