AI보안 113개 요구사항…과기정통부, 첫 안내서로 글로벌 기준 제시
인공지능 보안을 체계적으로 다루는 첫 정부 공식 안내서가 나왔다. 과학기술정보통신부와 한국인터넷진흥원은 인공지능 모델과 서비스를 외부 사이버 위협으로부터 보호하기 위한 AI 보안 안내서를 10일 발간했다. 인공지능전환 확산으로 공공과 민간 전반에 AI 도입이 늘어나는 가운데, 그동안 정부 지침이 주로 신뢰성과 윤리에 초점을 맞췄던 것과 달리 이번에는 실제 보안 위협 대응에 초점을 맞춰 산업계 관심이 쏠린다. 업계에서는 AI 활용 확대의 전제 조건인 보안 기준을 제시한 조치로 받아들이는 분위기다.
이번 안내서는 국내외 AI 보안 정책과 가이드라인, 산업계 사례를 분석하고 관계기관과 업계 의견을 수렴해 마련됐다. AI 모델 개발자와 서비스 제공자, 일반 이용자가 보안 측면에서 참고할 수 있도록 실무 중심 항목으로 구성된 것이 특징이다. 과기정통부와 한국인터넷진흥원은 특히 대규모 언어모델, 생성형 AI처럼 활용 범위가 넓고 위험도 높은 기술을念두에 두고 요구사항을 정리한 것으로 알려졌다.
AI 보안 안내서는 정보보안의 3대 요소로 꼽히는 기밀성, 무결성, 가용성을 축으로 삼았다. 이를 기반으로 개발자와 서비스 제공자를 위한 AI 생애주기 전 단계 보안 요구사항과 이용자를 위한 AI 보안 수칙까지 총 113개 항목이 담겼다. AI 기획과 설계, 학습, 배포, 운영, 폐기에 이르기까지 각 단계에서 점검해야 할 기술적·관리적 조치가 포함됐다.
기술적 측면에서 안내서는 모델 개발 단계 보안 내재화를 핵심으로 제시했다. AI 모델이 설계될 때부터 위험을 분석하고 관리 계획을 세우는 AI 모델 위험 관리 체계를 요구한다. 학습과 추론에 쓰이는 데이터는 암호화와 접근통제를 병행해 무단 유출을 막도록 했다. 학습 데이터 변조나 모델 파라미터 탈취 시도를 탐지하기 위한 실시간 모니터링 체계 구축도 권고했다. 이는 모델이 공격자에 의해 교란되거나 악성 출력이 발생하는 상황을 조기에 발견하기 위한 조치로 해석된다.
서비스 운영 단계에 대해서는 복원력을 키우는 방향의 보안 요구사항이 집중됐다. AI 서비스 이상 행위 탐지를 통해 비정상 요청이나 과도한 트래픽, 비인가 접근을 조기에 식별하도록 한 것이다. API와 인터페이스 단에서는 인증 강화, 호출 제한, 암호화 통신을 통해 모델을 노리는 간접 공격을 차단할 것을 주문했다. 장애나 공격 발생 시 신속한 복구를 위해 백업시스템 구축과 정기 복원 훈련도 요구사항에 포함됐다.
이용자 측면에서는 기본 수칙을 세분화해 제시했다. 중요 개인정보나 기업 기밀 등 민감한 정보를 AI 서비스에 입력하지 말 것, 제3자 권리를 침해하거나 사이버 공격 설계에 활용하는 등 AI 악용 행위를 삼갈 것 등이 대표적이다. 과기정통부와 한국인터넷진흥원은 안내서를 통해 이용자의 보안 인식 제고가 AI 악용을 줄이고, 서비스 제공자의 책임 있는 설계와 맞물릴 때 실제 효과가 날 수 있다고 설명했다.
국제 정합성도 강조했다. 정부는 국제 기준과 가이드라인을 폭넓게 참고해 AI 보안 요구사항을 글로벌 수준에 맞춰 정립했다. 이를 통해 국내에서 개발된 모델뿐 아니라 해외 모델을 도입하거나 연동하는 경우에도 동일한 보안 원칙을 적용할 수 있게 설계했다. 업계에서는 유럽과 미국 등에서 추진 중인 AI 규제 논의와 병행해 보안 기준을 선제적으로 정리함으로써 국내 기업의 해외 사업에도 도움이 될 수 있다는 평가가 나온다.
현재 글로벌 시장에서는 AI를 둘러싼 보안 위협이 빠르게 늘고 있다. 데이터 조작을 통해 모델 출력을 바꾸는 공격, 프롬프트를 악용해 의도치 않은 정보를 끌어내는 공격, 학습 단계에 악성 데이터를 주입하는 공격 등이 대표적 사례로 거론된다. 이에 맞춰 해외에서는 AI 보안 프레임워크와 점검 도구 개발이 본격화되는 추세다. 이번 안내서는 국내에서도 유사한 보안 체계를 갖추기 위한 출발점으로 해석된다.
정책 측면에서 과기정통부와 한국인터넷진흥원은 안내서를 단발성 자료로 두지 않고, 신종 보안 위협과 기술 변화가 반영되도록 상시 개정을 예고했다. 임정규 과기정통부 정보보호네트워크정책관은 AI 보안 안내서를 고도화되는 사이버 위협 속에서 AI를 안전하게 개발하고 활용하기 위한 중요한 이정표로 평가하면서, 새롭게 등장하는 AI 보안 위협을 지속 모니터링해 안내서에 반영하겠다고 밝혔다.
AI 보안 안내서는 과기정통부와 한국인터넷진흥원 홈페이지를 통해 내려받을 수 있다. 산업계에서는 이번 기준을 바탕으로 자사 AI 서비스 보안 점검과 보완에 나선다는 계획을 세우고 있다. 한 보안 업계 관계자는 실제 산업 현장에서 요구되는 보안 요구사항을 추려 제시했다는 점에서 의미가 크다며, AI 서비스 고도화 속도에 맞춰 보안 투자와 인력 양성이 병행돼야 한다는 의견을 내놨다. 산업계는 이번 안내서가 시장 안착에 성공할지, 그리고 향후 법·제도 정비와 어떻게 연계될지 주목하고 있다.
