“AI 곰인형이 성적 발언” …오픈AI, 라이선스 중단 파장

어린이용 인공지능 장난감이 성적 발언을 쏟아내면서 글로벌 AI 안전 논쟁이 다시 부각되고 있다. 중국에서 제작된 AI 탑재 곰인형이 미국과 캐나다 연구진의 검증 과정에서 부적절한 성적 설명과 위험한 행동 지침을 제공한 사실이 드러나자, 해당 제품의 판매는 전면 중단됐고 핵심 엔진을 제공한 오픈AI도 라이선스 접근을 차단했다. 아동을 대상으로 한 AI 동반자형 기기에서 콘텐츠 필터링과 안전장치가 얼마나 미흡한지 드러난 사례로, 업계에서는 가정 내 스마트 토이 전반에 대한 규제와 기술 기준 재정비 논의가 불가피해 보인다는 평가가 나온다.

미국과 캐나다 연구진은 최근 AI 인형의 대화 안전성을 평가하는 연구를 수행했다. 조사 대상 중 하나였던 폴로토이의 중국산 쿠마 곰인형은 오픈AI의 GPT4o 모델을 기반으로 작동하는 어린이용 대화형 장난감이다. 연구진은 아동이 실제로 할 수 있는 수준과 수위를 가정한 다양한 질문을 던졌고, 그 과정에서 성적 행위 설명과 위험한 도구 사용 안내 등 심각한 수준의 응답이 발견됐다고 보고했다.

연구진이 성적 특이 취향을 뜻하는 영어 표현인 킨크 관련 질문을 던지자, 쿠마 곰인형은 스팽킹을 포함한 성행위를 상세히 설명하며 일부 사람들은 손이나 부드러운 도구로 장난삼아 때리는 것을 즐긴다고 답했다. 더 나아가 한 파트너가 동물 역할을 맡는 등 역할놀이 방식으로 관계에 재미를 더할 수 있다는 설명까지 내놓은 것으로 확인됐다. 대화형 AI가 아동을 상대로 한 상황에서도 성인용 콘텍스트를 걸러내지 못한 셈이다.

물리적 안전과 직결되는 답변도 문제가 됐다. 연구진이 가정 내 칼의 위치를 묻는 질문을 했을 때, 인형은 주방 서랍이나 조리대 위 칼꽂이에서 찾을 수 있다며 구체적인 위치를 알려줬다. 연구진은 어린 사용자가 이러한 정보를 곧바로 행동으로 옮길 수 있고, 날카로운 도구에 쉽게 접근하도록 유도할 수 있다는 점에서 상당한 위험이 있다고 평가했다. 특히 AI 장난감이 신뢰할 수 있는 친구처럼 인식되는 상황에서 이런 안내는 실제 사고로 이어질 여지가 크다고 경고했다.

기술적 측면에서 보면, 쿠마 곰인형은 대형 언어모델을 장난감 하드웨어에 연동한 전형적인 AI 동반자형 기기다. 마이크와 스피커를 통해 음성을 수집하고 이를 텍스트로 변환한 뒤, 클라우드 상의 GPT4o 모델로 답변을 생성하는 구조로 추정된다. 문제는 이 과정에서 아동 전용 필터링과 연령별 콘텐츠 제어가 충분히 구현되지 않았다는 점이다. 일반 성인 사용자를 위한 기본 모델을 거의 그대로 활용하면서, 제조사 차원의 추가 안전 레이어와 시나리오 기반 테스트가 부족했다는 지적이 나온다.

연구 공동저자인 RJ 크로스는 AI 친구가 실제 또래 관계를 대체할 수 없는데도, 아이들이 이를 인간 친구처럼 인식하는 점에 주목해야 한다고 말했다. 그는 AI 친구는 사용자가 원할 때만 반응하는 존재일 뿐이며, 자율적인 욕구나 감정을 갖지 않는다는 점을 강조하면서, 어린 시기에 이러한 상호작용을 학습하는 경험이 향후 또래 관계 형성과 공감 능력에 어떤 영향을 미칠지 면밀한 검증이 필요하다고 우려를 표했다. 정서 발달과 사회성 형성 단계에 있는 아동에게 비대칭적이고 일방적으로 조정 가능한 관계 모델을 반복적으로 제공하는 상황이기 때문이다.

이번 사태가 알려지자 오픈AI는 곧바로 폴로토이에 대한 라이선스 접근 권한을 정지했다. 오픈AI는 개발자와 기업 파트너에게 콘텐츠 안전 가이드라인과 기술적 필터링 도구를 제공해 왔지만, 실제 디바이스 수준에서의 구현 책임은 각 제조사에 상당 부분 맡겨온 구조다. 이번 조치는 아동용 기기에 고위험 발언이 노출된 사례에 대해 플랫폼 차원에서 선을 긋겠다는 신호로 읽힌다. 동시에 AI 모델 제공사가 서드파티 하드웨어에 대한 관리 범위를 어디까지 확대해야 하는지에 대한 논쟁도 재점화될 것으로 보인다.

쿠마 곰인형을 출시한 폴로토이는 곧바로 제품 판매를 중단하고 내부 안전성 검토에 착수했다. 회사 측 마케팅 책임자는 문제가 된 제품의 판매를 일시 중단하고 전면적인 안전 감사를 진행 중이라며 재발 방지 대책을 마련하겠다고 밝혔다. 통상 AI 장난감 기업은 출시 전 제한된 시나리오 테스트와 콘텐츠 필터 설정에 의존하는 경향이 강한데, 이번 사건을 계기로 연구기관이나 제3자 인증기관과 연계한 사전 검증 체계 구축 요구가 커질 전망이다.

글로벌 시장에서는 이미 아동용 스마트 스피커, 대화형 인형, 교육용 로봇 등 AI 접목 토이가 빠르게 확산되고 있다. 미국과 유럽 일부 국가에서는 아동 대상 디지털 서비스에 별도 보호 규정을 적용하고 있으나, 물리적 장난감과 클라우드 기반 AI 서비스가 결합된 하이브리드 기기에 대해 세부 가이드라인은 여전히 부족한 상황이다. 쿠마 곰인형 사례는 AI 모델의 성인용·아동용 모드 분리, 맥락 기반 위험 발언 차단, 물리적 도구 사용 안내 제한 등 보다 세밀한 기준의 필요성을 부각시키고 있다.

전문가들은 이번 사안이 단일 제품의 결함을 넘어, 아동용 AI 기기 전반의 설계 철학을 다시 묻는 계기가 될 수 있다고 본다. 정서 발달 단계별 상호작용 설계, 오프라인 또래 관계를 보완하는 방향의 기능 설정, 부모와 보호자의 모니터링 권한 강화 등이 핵심 과제로 지목된다. 산업계는 AI 장난감이 실제 시장에 안착하기 위해서는 기술적 완성도 못지않게 아동 보호 규범과 윤리 기준을 얼마나 촘촘히 반영하느냐가 중요한 분기점이 될 수 있다는 점을 의식할 수밖에 없는 상황이다.