“AI 기반 잔혹 협박영상 확산”…오픈AI, 위험성 논란 증폭

인공지능(AI) 영상 생성 기술이 온라인 협박의 양상을 근본적으로 변화시키고 있다. 오픈AI 등 생성형 AI 기업이 고도화된 동영상 생성 도구를 공개하면서, AI를 활용한 모욕·위협 영상 제작이 실시간으로 이루어지고 있다. 실제 사례에서는 SNS 이용자 이미지 한 장만으로 희생자를 대상으로 한 사실적 위협 영상이 확산되고, 목소리 단 1분 분량으로 음성 협박 시나리오도 손쉽게 생성됐다. 산업계와 학계는 이번 현상을 ‘AI 악용 리스크가 현실 위협이 된 분기점’으로 분석한다.

AI 기반의 협박 콘텐츠 생성은 텍스트, 이미지, 음성, 동영상을 모두 아우르며 피해자 지향적으로 진화 중이다. 미국 플로리다 등에서 이미 비디오게임 캐릭터 커스터마이징을 이용한 협박 사례가 보고됐으며, 올 상반기 오픈AI의 ‘소라(Sora)’ 출시에 따라 실시간 동영상 합성이 대중화됐다. 피해자들이 실제 소장한 옷, 자신의 집 등 세부 정보까지 반영된 AI 협박 영상이 SNS에 대량 유포됐다.

AI 동영상 생성 방식은 딥러닝 기반 텍스트-이미지 변환(텍스트 투 이미지), 음성 합성(TTS), 그리고 이미지 시퀀스 생성 기술이 융합됐다. 그 결과, 단 한 장의 인물 사진만으로도 다중 시점·배경에서 신체 훼손, 위협 상황 등이 극도로 사실적으로 구현됐다. 기존 영상 편집과 달리, 몇 분 이내로 생성과 유포가 가능해졌다.

이러한 기술은 범죄 악용에 있어 치명적인 파급력을 보인다. 협박, 개인정보 노출, 스와팅(Swatting: 허위 긴급신고로 경찰 긴급 출동을 유발하는 행위) 등에서 설득력이 결정적으로 강화된 것이다. 실제 미국의 한 고교에서는 총 든 학생의 AI 합성 영상 한 편 때문에 학교 폐쇄 조치가 이루어졌고, 유명 변호사 집을 겨냥한 침입·폭행 시나리오가 AI 챗봇을 통해 국제망에 유포됐다.

현실에서는 영상의 진위를 신속히 구분하기 어려워 대응 시스템 자체가 마비되는 문제도 커지고 있다. AI 사용자는 희생자의 SNS 사진 단 한 장만 확보해도 사실상 ‘반복 학대’를 가할 수 있게 됐다는 설명이다. 목소리 복제 기술 역시 고도화돼 1분 미만의 음성 샘플만으로도 실시간 허위 신고나 협박 메시지 합성이 가능하다.

글로벌 기업들은 안전장치 도입을 내세우고 있다. 오픈AI 측은 위험한 콘텐츠 자동 차단, 검열 알고리즘, 실험성 테스트 등 방어 시스템을 적용한다고 발표했다. 그러나 AI 안전·윤리 전문가들은 “가드레일 효과가 미미하다”며, 모델이 우회생성·교묘한 변형을 통해 해당 장치를 손쉽게 무력화한다고 지적했다. 실제 현장에서는 유튜브 내 AI 합성 총격 영상이 40건 이상 상시 노출됐으며, 소셜미디어 X(구 트위터)는 일부 협박 영상 조차 서비스 약관 위반으로 간주하지 않았다.

규제·책임 부문 역시 전면적인 공백 상태다. 국내외 법제에서는 아직 생성형 AI 기반 음성·영상 협박을 명확히 제어하는 조항이 부재하다. 미국의 경우 소비자 안전 및 개인정보보호법, 플랫폼별 자체 정책 등만 단계적으로 적용한다. 그러나 피해자 맞춤형 AI 협박물은 윤리적·법적 책임소재 논란을 더욱 증폭시킨다.

업계에서는 “AI 합성 기술이 디지털 위협, 협박의 구조 자체를 바꿨다”고 진단했다. 전문가들은 “개별 기업의 해킹 방어나 검열만으로는 한계가 뚜렷하다”며, 생성형 AI의 악의적 활용을 억제할 글로벌 규제 표준 마련과 사회적 논의 촉진이 시급하다고 제언했다. 산업계는 이번 AI 영상 기술이 실제 범죄 대응과 책임 규명에서 전례 없는 난제를 유발할 수 있을지 예의주시하고 있다.