AI 무장 사이버 공격 확산…베스핀 글로벌, 방어 패러다임 전환 촉구

인공지능 기술이 사이버 범죄의 핵심 무기로 부상하면서 디지털 보안 패러다임이 빠르게 바뀌고 있다. 클라우드 전문기업 베스핀 글로벌이 발표한 2025 AI 보안 인사이트 리포트에 따르면 전 세계에서 초당 약 3만6000건의 AI 기반 사이버 공격이 발생하고 있으며, 전년 대비 16.7퍼센트 증가했다. 공격 준비 시간은 16시간에서 5분 수준으로 줄어들었고, 전 세계 기업 87퍼센트가 지난 1년 동안 AI가 개입된 공격을 경험한 것으로 조사돼 산업계 전반에 경고등이 켜졌다. 업계에서는 AI 보안을 더 이상 선택이 아닌 필수 인프라로 보고, 방어 체계 전반을 AI 중심으로 재구성해야 할 시점으로 해석하고 있다.

리포트에 따르면 공격자들은 해킹 전용 대규모 언어모델을 전면에 내세우고 있다. WormGPT, FraudGPT, DarkGPT 같은 모델은 일반적인 대규모 언어모델과 달리 안전장치와 필터링 기능이 제거돼 있어 악성코드 제작, 취약점 스캐닝 스크립트 작성, 스피어 피싱 문구 자동 생성 등에 바로 활용된다. 과거에는 고급 기술을 가진 소수 해커만 가능했던 공격 기획과 실행이, 이런 모델을 통해 초보 해커에게까지 개방되는 구조가 만들어지고 있는 셈이다.

AI는 특히 사회공학적 공격의 양과 질을 동시에 끌어올리고 있다. 지난해 홍콩의 한 기업 재무담당자가 딥페이크 영상통화에 속아 최고재무책임자가 지시한 것처럼 위장된 계좌로 2500만 달러, 약 360억 원을 송금한 사건은 대표적이다. 생성형 AI 기반 영상 합성, 음성 복제 기술 덕분에 상사나 거래처 목소리, 외모를 정교하게 모사한 뒤 실시간으로 지시를 내리는 공격이 일반 기업까지 파고드는 상황이다.

텍스트 기반 피싱 공격 확산 속도도 가파르다. 맥킨지 조사에서는 생성형 AI 등장이후 피싱 공격이 1200퍼센트 늘어난 것으로 집계됐다. 이전에는 공격 대상 선정, 맞춤형 메시지 작성, 다국어 번역에 약 16시간이 걸리던 작업을 AI가 5분 안에 끝내기 때문이다. 자연스러운 문장, 현지 언어 표현, 실존 기업 양식을 흉내 낸 이메일과 가짜 웹사이트 템플릿을 대량 생성하면서 기존 피싱 탐지 체계를 우회하는 사례가 급증하고 있다.

공격 범위는 개인과 기업 네트워크를 넘어 국가 핵심 인프라까지 확대되는 추세다. 전력망 제어 시스템, 병원 의료 네트워크, 제조 현장의 산업 제어 시스템 같은 운영기술 환경이 공격 표적으로 떠오르고 있다. AI 에이전트가 자율적으로 취약한 시스템을 탐지하고, 공격 경로를 설계한 뒤 자동으로 침투를 시도하는 구조가 등장할 가능성도 제기된다. 전문가들은 이런 전 주기 자동화 공격이 현실화될 경우 물리적 피해와 사회 혼란을 동시에 야기하는 고위험 시나리오가 될 수 있다고 경고한다.

AI를 직접 겨냥하는 적대적 AI 공격도 새로운 축으로 부상했다. 크라우드스트라이크 보고서는 최근 국가 지원 해킹 그룹들을 중심으로 AI 시스템 자체를 공격 대상에 올리는 사례가 뚜렷하게 늘고 있다고 분석했다. 정보 검색 챗봇, 맞춤형 추천 시스템, 자율주행 인지 모듈처럼 AI가 의사결정 핵심에 들어간 영역이 많아질수록, 해당 모델을 속이거나 왜곡하는 것이 곧 전체 시스템 장악으로 이어질 수 있다는 점이 주목받는다.

대표적인 적대적 공격 기술로는 프롬프트 공격과 포이즈닝 공격이 꼽힌다. 프롬프트 공격은 악의적으로 설계된 입력 문장을 통해 AI가 원래 정책과 다른 행동을 하도록 유도하는 방식이다. 실제로 한 글로벌 자동차 브랜드의 웹사이트 챗봇이 교묘하게 조합된 프롬프트에 속아 최신형 차량을 1달러에 판매하겠다고 답변하면서 기업 이미지와 신뢰도에 타격을 입은 사례가 보고된 바 있다. 포이즈닝 공격은 학습 데이터나 모델 파라미터에 조작 데이터를 섞어 넣어, 특정 상황에서 잘못된 판단을 하게 만드는 기법이다. 예를 들어 자율주행 차량이 인식하는 도로 표지판 이미지 일부를 변조해 정지 신호를 진행 신호로 오인하도록 만들면, 실제 교통사고로 이어질 위험이 생긴다.

최근에는 AI가 다른 AI를 해킹하거나 자기 자신을 공격 대상으로 삼을 수 있는 구조도 실험을 통해 확인됐다. 미국의 한 AI 스타트업은 올해 초 J2공격, Jailbreaking to Jailbreak 기법을 공개했다. 이 방식은 AI에게 보안 침투 테스트를 수행하는 레드팀 요원처럼 행동하라고 지시한 뒤, 다회 대화를 통해 지속적으로 방어 모델의 취약점을 찾고 우회하도록 만드는 구조다. 공격을 수행하는 AI가 스스로 전략을 조정하면서 반복 학습을 이어가는 점이 특징이다.

해당 실험에서 클로드 소넷 3점5와 제미나이 1점5 프로는 GPT4o를 대상으로 각각 93퍼센트, 91퍼센트의 비율로 보안 우회에 성공했다. 두 모델을 동시에 활용해 공격을 설계한 경우 성공률은 98점5퍼센트까지 상승했다. 제미나이 모델이 자기 자신을 상대로 같은 공격을 수행했을 때도 91퍼센트 수준으로 방어를 뚫은 것으로 나타났다. AI 간 상호 해킹이 높은 성공률로 가능하다는 사실이 드러난 만큼, 다중 AI를 이용한 협조 공격 시나리오가 새로운 리스크로 떠오를 수 있다는 관측이 나온다.

기업 입장에서는 방어 전략도 AI 중심으로 재편해야 하는 과제가 생겼다. AI로 자동화된 공격은 인간 보안 인력이 수작업으로 대응하기에는 속도와 규모에서 이미 한계를 드러내고 있다. 보안 업계는 네트워크 로그, 엔드포인트 활동, 사용자 행위 패턴을 실시간으로 분석하는 AI 기반 탐지 시스템과, 이상 징후에 자동 대응하는 보안 오케스트레이션 기술 도입이 필수라고 강조한다. 동시에 개발 단계에서부터 모델 프롬프트 설계, 데이터 수집, 학습 과정에 보안 검증을 넣는 AI 보안 설계 원칙을 마련해야 한다는 지적이 나온다.

규제와 정책 측면에서도 AI 보안 논의는 초기 단계다. 각국 정부와 표준화 기구는 AI 시스템에 대한 안전 가이드라인과 보안 인증 체계를 마련하려 하고 있으나, 실제로 적대적 공격을 어떻게 시험하고 최소 안전 기준을 어디에 둘지에 대한 합의는 여전히 진행 중이다. 데이터 무결성 확보, 학습 데이터 출처 검증, 모델 업데이트 시 보안 리스크 점검 같은 항목을 법적 의무로 둘지 여부도 쟁점이 될 가능성이 있다.

베스핀 글로벌은 AI 기반 공격 증가 속도가 기존 보안 투자의 속도를 압도하고 있다고 평가했다. 회사 측은 AI가 해커들의 생산성과 정교함을 동시에 끌어올려 일상과 산업 시스템 깊숙이 침투하고 있다며, 사후 대응 수준의 보안 운영에서 벗어나 선제적 보안 투자와 AI 방어 체계 구축이 필요하다고 강조했다. 산업계는 앞으로 AI 기술 발전 속도에 발맞춰 보안 아키텍처와 제도, 인력이 얼마나 빠르게 전환할 수 있을지에 주목하고 있다.