첨단 GPU 1만장 지원…정부, AI 고속도로 구축 가속

첨단 그래픽처리장치 GPU 인프라가 국가 차원에서 본격 확충되면서 국내 인공지능 산업 지형에 변화가 예상된다. 정부가 내년 2월부터 스타트업과 중소기업, 대학, 연구기관에 최신 GPU 1만장을 단계적으로 개방해 초거대 언어모델과 생성형 AI 개발에 필요한 연산 자원을 제공하기로 하면서다. 업계는 이번 조치를 미국과 중국에 뒤처진 연산 인프라 격차를 줄이기 위한 첫 분기점으로 바라보는 분위기다.

과학기술정보통신부는 18일 제2회 과학기술관계장관회의에서 국가AI혁신을 위한 첨단 GPU 확보·배분방향을 심의·의결하고, 올해 1차 추가경정예산 약 1조4600억원으로 확보한 GPU를 내년 2월부터 순차적으로 투입한다고 밝혔다. 대상은 중소·스타트업, 학계·연구계, 국가 차원의 AI 프로젝트로, 대규모 모델 학습과 추론이 가능한 수준의 연산 자원이 패키지 형태로 제공된다.

정부는 국가 AI 경쟁력 강화를 위해 이른바 AI 고속도로 구축을 핵심 국정과제로 추진 중이다. 2028년까지 최소 5만2000장 이상의 첨단 GPU 확보를 목표로 설정했다. 이번 1만3000장은 이 중 첫 번째 물량으로, 이후 슈퍼컴퓨터 6호기 구축과 국가 AI컴퓨팅 센터 조성, 추가 GPU 구매를 통해 점진적으로 인프라 규모를 키운다는 구상이다.

GPU 확보 사업에는 네이버클라우드, 카카오, NHN클라우드가 참여한다. 과기정통부는 지난 7월 공모와 평가, 현장실사, 사업비 심의를 거쳐 이들 3곳을 사업자로 선정했다. 세 곳은 합산해 엔비디아 B200 1만80장, H200 3056장 등 총 1만3000장을 도입하고 있으며, 데이터센터 전력과 냉각 설비, 네트워크 인프라를 보강해 대규모 클러스터로 구성하는 작업을 진행 중이다.

정부 활용분은 B200 8160장, H200 2296장으로 확정됐다. 사업자별로 GPU를 수백 개 서버 단위로 묶는 대규모 클러스터링과 소프트웨어 최적화, 베타테스트를 거쳐 내년 2월 이후 서비스를 개시할 계획이다. 특히 정부 활용 클러스터는 B200 기준 510노드 4080장, H200 기준 255노드 2040장 규모로 설계돼 단일 GPU 성능을 넘어서는 초대형 병렬 연산 구조를 갖춘다. 이를 통해 수천억 개 이상 파라미터를 가진 초거대 AI 모델 학습과 복수 모델의 동시 추론을 처리할 수 있는 기반을 마련하게 된다.

엔비디아 B200과 H200은 고대역폭 메모리와 고속 인터커넥트 기술을 결합한 최신 데이터센터용 GPU로, 딥러닝 학습과 추론에서 기존 세대 대비 연산량을 크게 높인 것이 특징이다. 특히 초거대 언어모델처럼 학습 데이터와 파라미터 규모가 폭증하는 워크로드에서는 메모리 용량과 대역폭, 노드 간 통신 속도가 성능을 좌우하는데, 이번 클러스터 구성은 이런 요구를 감안해 설계됐다. 과기정통부는 고속 네트워크 기반의 클러스터링을 통해 단일 GPU 대비 실효 처리량을 수십 배 이상 끌어올릴 수 있을 것으로 보고 있다.

정부는 이번에 확보한 GPU를 지원 가능 시기와 장비 구성을 고려해 국가 프로젝트와 산학연 과제에 전략적으로 배분한다. 우선 H200 2296장과 B200 2040장은 내년 초 가장 먼저 가동돼 산학연의 긴급한 AI 혁신 수요를 흡수한다. 22일부터 내년 1월 28일까지 온라인 플랫폼을 통해 과제를 접수하고, 과제당 H200 기준 최대 256장 32서버, B200 기준 최대 128장 16서버를 최대 12개월 동안 제공한다.

과제 선정은 전문가 심사로 진행된다. 모델의 기술 수준, 산업 파급력, 연구 성과 가능성, 데이터 활용 계획 등을 종합적으로 검토해 GPU를 할당한다. 선정 이후에는 일정 주기로 성과를 점검해 장비가 유휴 상태로 방치되지 않도록 관리할 예정이다. 비용 측면에서 학계와 공공 연구기관은 무상으로 지원받고, 중소·스타트업은 시장가격의 약 5~10%만 부담하면 된다. 청년기업에는 추가로 50% 할인이 제공돼 초기 창업팀도 첨단 GPU를 비교적 낮은 비용으로 활용할 수 있는 구조다.

향후 확보될 B200 6120장은 독자 AI 파운데이션 모델 개발 등 국가 전략 프로젝트와 단기 산학연 과제에 나눠 투입된다. 과기정통부는 관계부처 수요조사를 통해 국정과제 이행과 국가 AI 생태계 조성에 직결되는 사업을 선별하고, 사전 전문가 심사와 과학기술관계장관회의 심의를 거쳐 GPU를 배분한다는 방침이다. 여기에는 한국어 특화 초거대 모델, 제조·바이오·의료 등 전략산업용 도메인 특화 모델, 공공데이터 기반 행정·복지 AI 등이 포함될 가능성이 있다.

연산 인프라 확충은 글로벌 AI 경쟁 구도에서도 핵심 변수로 꼽힌다. 미국에서는 주요 클라우드 사업자와 빅테크 기업이 수십만 장 규모의 GPU 클러스터를 이미 운영 중이며, 유럽과 일본도 국가 차원의 AI 컴퓨팅 센터를 잇따라 구축하고 있다. 중국은 수출 규제 영향으로 최신 GPU 확보에 제약을 받는 대신, 자국 GPU와 전용 칩 개발로 방향을 틀고 있다. 한국은 민간 기업의 투자 여력이 상대적으로 제한적인 상황에서, 정부가 일정 부분 인프라를 선제적으로 깔아주는 방식으로 격차 축소를 시도하는 그림이다.

정부는 내년에도 GPU 확보를 이어간다. 연구개발을 위한 슈퍼컴퓨터 6호기에 약 9000장을 탑재해 내년 6월 가동을 목표로 하고, 별도로 정부 구매분 약 1만5000장도 추가 도입할 계획이다. 장기적으로는 2028년을 목표로 1만5000장 이상 GPU를 수용하는 국가 AI컴퓨팅 센터를 구축해, 개별 사업이 아닌 상시 인프라로 운영한다는 청사진을 제시했다. 이 센터는 공공 연구와 민간 활용을 병행하는 형태로 설계될 전망이다.

연산 자원 확대와 함께 데이터 규제와 AI 윤리, 전력 인프라 등 주변 환경을 정비해야 한다는 지적도 제기된다. 초대형 GPU 클러스터는 막대한 전력과 냉각 자원을 필요로 하고, 대규모 학습에는 의료·금융·공공 등 민감한 데이터 활용이 수반되기 때문이다. 데이터 적법성, 개인정보 보호, 알고리즘 편향성 관리 등 과제가 동시에 불거질 수 있어 제도 정비가 병행돼야 한다는 목소리가 나오고 있다.

배경훈 부총리 겸 과기정통부 장관은 이번 GPU 구축을 AI 고속도로가 본격 가동되는 출발점으로 평가했다. 배 부총리는 우리 연구자와 기업들이 세계적 수준의 컴퓨팅 자원을 활용할 수 있게 됐다는 점에서 획기적인 전기를 마련했다고 강조하며, 현장의 AI 혁신을 뒷받침해 한국이 AI 강국으로 도약할 수 있도록 지원을 이어가겠다는 뜻을 밝혔다. 산업계는 대규모 GPU 인프라가 실제로 민간 AI 서비스와 비즈니스 성과로 이어질 수 있을지 예의주시하고 있다.