“AI 손실함수 평탄화”…UNIST, 생성형 이미지 품질·강건성 2배 높인다

인공지능 기반 이미지 생성 기술이 품질 저하와 왜곡, 신뢰성 부족 등 근본적인 한계를 넘는 새로운 해법에 근접했다. UNIST 인공지능대학원 윤성환·유재준 교수 연구팀이 22일, 손실함수의 평평한 최소점에 도달하는 학습 설계를 통해 확산모델의 강건성과 일반화 성능을 모두 높일 수 있음을 이론과 실험으로 규명했다고 밝혔다. 확산모델이란 딥러닝 기반으로 고품질 이미지를 만들어주는 AI 기술로, 챗GPT 계열의 DALL·E, 스테이블 디퓨전 등 이미지 생성 플랫폼의 핵심 원리에 활용된다. 사용자는 자신의 모습을 지브리 영화 스타일로 변환하거나, 상상 속 장면을 일러스트 또는 만화로 바꿀 수 있다. 그러나 이 같은 확산모델의 한계로는 불안정한 품질·오류 누적·압축 과정의 양자화 오류·적대적 공격에 취약한 점 등이 꼽힌다. 이는 짧은 생성 과정에서 오차가 누적되거나, 단말기 이전을 위해 모델을 크기 줄일 때 발생하며, 인위적 공격에도 대응력이 떨어진다. 연구진 분석 결과, 문제의 근본 배경에는 AI 일반화 성능(새 데이터 또는 환경에서도 안정적으로 작동하는 능력) 부족이 있었다. 해결 실마리는 손실 함수 지형의 '평평한(Flat) 최소점'에 있었다. 기존에는 손실 함수를 빠르게 최소화하는 데 초점을 맞췄으나, 최소점이 좁고 급격하면 약간의 흔들림만 있어도 성능 저하가 컸다. 반대로 넓고 완만한 최소값 지점에 설계하면, 다양한 상황·노이즈 환경에서도 정확도와 품질이 흔들리지 않았다. 연구팀은 Sharpness-Aware Minimization(SAM) 알고리즘을 적용해 기존 대비 7배 강한 적대적 공격·양자화 등 다양한 스트레스 상황에서도 확산모델의 안정성을 실험적으로 입증했다. 특히 반복 생성에 따른 품질 저하, 모바일·IoT용 경량화, 인위적 출력 교란에 모두 효과적인 개선을 보였다. 지금까지는 각 문제점별로 개별 연구가 이뤄졌으나, 평탄한 최소점 설계라는 단일 원리로 동시에 해결할 수 있음을 이번 연구로 처음 밝혔다. 전문가들은 이번 결과가 챗GPT와 같은 초거대 생성 AI를 현실 세계, 실제 환경에 적용하는 데 필요한 신뢰성 강화와도 맥락이 통한다고 평가한다. 연구팀 역시 “이미지 품질 향상뿐 아니라 실세계 적용 신뢰도와 머신러닝 데이터 효율성까지 높이는 핵심 설계 원리를 제공한다”고 강조했다. 국제 컴퓨터 비전 학회(ICCV) 2025에 채택된 이 연구는 인공지능 기반 생성기술의 상용화와 모바일 내장, 의료·디자인 등 산업 전반에 커다란 파급 효과가 기대된다는 평가다. 산업계는 이번 기술이 실제 시장에 안착할 수 있을지 주시하고 있다.