“AI 게임 실력 글로벌 평가”…크래프톤, Orak 챌린지 개시로 LLM 새기준

AI 기반 게임 플레이 실력을 측정하는 새로운 경진대회가 글로벌 무대에서 시작됐다. 크래프톤이 개최하는 ‘Orak 챌린지’는 스트리트 파이터III, 슈퍼 마리오, 포켓몬, 스타크래프트II, 2048 등 다양한 장르의 실제 상용 게임을 기반으로, 인공지능(AI) 거대언어모델(LLM) 에이전트의 플레이 능력과 의사결정 역량을 객관적으로 평가한다. 업계는 이번 챌린지가 AI 게임 경쟁력 평가지표의 분기점으로 보고 있다.

Orak은 ‘오락’의 의미를 담아, AI가 실제 게임 환경에서 상황 인식, 판단, 행동 결정 전 과정을 수치화해 평가하는 시스템이다. 크래프톤 AI 연구진이 개발했으며, 참가자들은 Orak의 통합 인프라에서 자신들이 개발한 LLM 기반 AI 모델을 실시간 리더보드로 검증할 수 있다. 기존 AI 플레이 평가 방식이 단일 게임, 제한적 환경에 치우쳤던 데 비해, Orak 챌린지는 다섯 종의 게임을 활용해 모델의 종합적 전략·문제 해결력·효율성을 측정한다는 점이 주목받는다. 

특히, 참가팀에는 NVIDIA, AWS, OpenAI 등 글로벌 빅테크 기업이 공식 후원사로 참여해, LLM 실험을 위해 총 4만5000달러 규모의 크레딧, 우승자에게 2만달러의 상금이 제공된다. 상위권 팀은 크래프톤과 LLM 연구 기술 세션에도 참가 가능하다. 참가 엔트리는 팀당 최대 5명, 하루 5회 모델 제출로 제한돼 경쟁 구도가 치열해질 것으로 보인다. 등록은 2024년 11월 21일까지이며, 최종 우승팀은 2026년 2월 공개된다.

글로벌 게임AI 평가 대회로는 Orak 챌린지가 첫 시도로, 기존의 강화학습 기반 형식에서 한 단계 진화했다는 평가다. 대회 진행 구조, 다양한 장르 적용, 리더보드 방식 등에서 미국, 유럽 주요 연구대회와 차별화를 꾀했다. AI 분야 관계자들은 “AI가 실제 유저와 유사한 판단, 창의적 플레이를 실제 환경에서 얼마나 구현하는지 갈라낼 수 있는 사실상 객관적 벤치마크”라며 “글로벌 LLM 기반 에이전트 연구의 가속도가 한층 높아질 것”이라고 진단했다.

한편, 크래프톤은 과학기술정보통신부 주관의 ‘독자 AI 파운데이션 모델’ 개발에 참여 중이다. 이번 챌린지를 통해 쌓인 LLM 기반 실전 게임 데이터와 연구 경험을 국가 AI 생태계로 확장할 계획이다. 이강욱 크래프톤 AI 본부장은 “Orak을 통해 LLM 평가 기준을 고도화하고, 게임AI 혁신을 선도하겠다”며 “AI First 전략 하에 크래프톤의 글로벌 진용을 강화할 것”이라고 밝혔다. 산업계는 이번 실전형 평가 체계가 실제 시장 배치로 이어질지 주목하고 있다.