양자컴퓨팅을 활용해 환경 변화에도 안정적으로 작동하는 강인한 인공지능(AI)을 더 효율적으로 학습시키는 기법이 개발됐다.
UNIST는 인공지능대학원 윤성환 교수팀이 고려대학교 전기전자공학부 김중헌 교수팀과 함께 양자 알고리즘 기반 강인한 강화학습 기법 ‘QRIM’을 개발했다고 6일 밝혔다.
QRIM은 ‘Quantum Robust Inner Minimization’의 약자로, 강인한 강화학습에서 계산 병목으로 꼽히는 최악의 상황 탐색 과정을 양자 알고리즘으로 가속하는 기술이다. 연구팀은 이를 통해 계산 비용을 기존 대비 최대 5분의 1 수준으로 줄이는 데 성공했다.
이번 연구는 세계 3대 인공지능 학회로 꼽히는 국제머신러닝학회(ICML) 2026에 채택됐다. 올해 ICML에 채택된 양자 인공지능 논문 가운데 국내 연구기관이 주도한 논문은 이번 연구가 유일하다고 UNIST는 설명했다.
강화학습은 AI가 시행착오를 거치며 스스로 행동 전략을 찾는 학습 방식이다. 다만 실제 환경이 학습 환경과 달라지면 성능이 급격히 떨어질 수 있다. 예를 들어 맑은 도로 환경만 학습한 자율주행차는 비나 눈으로 노면 상태가 바뀌면 제대로 대응하지 못할 수 있다.
이를 보완하기 위해 쓰이는 방식이 강인한 강화학습이다. 학습 과정에서 발생 가능한 최악의 상황을 미리 찾고, AI가 이에 대비하도록 훈련하는 방식이다. 문제는 최악의 상황을 찾는 과정에서 가능한 경우의 수를 일일이 확인해야 해 계산 비용이 크게 늘어난다는 점이다.
연구팀은 이 병목을 양자컴퓨팅의 중첩 원리로 해결했다. 양자컴퓨팅은 여러 경우의 수를 동시에 표현할 수 있다. QRIM은 이 특성을 활용해 최악의 시나리오를 빠르게 찾아낸다.
예를 들어 1만 개의 시나리오를 검토할 때 기존 방식은 1만 번의 계산이 필요하지만, QRIM은 100번의 확인만으로 같은 결과를 얻을 수 있다. 연구팀은 이를 통해 최악의 상황 탐색 과정의 계산 부담을 크게 낮췄다.
실제 실험에서도 QRIM은 기존 방식 대비 약 20~30% 수준의 계산량만으로 더 강인한 성능을 보였다. IBM 양자컴퓨터에서 수행한 검증 실험에서도 정상적으로 작동했으며, 양자 하드웨어 잡음이 있는 환경에서도 강인성을 유지한 것으로 나타났다.
제1저자인 이현규 연구원은 “강인한 강화학습의 가장 큰 병목인 최악의 상황 탐색 과정을 양자 알고리즘으로 가속할 수 있는 구조로 새롭게 설계한 기술”이라며, “기존 강화학습 알고리즘은 그대로 두고 이 탐색 부분만 양자 모듈로 교체할 수 있어 다양한 강화학습 분야에 폭넓게 적용할 수 있다”고 설명했다.
윤성환 UNIST 교수는 “이번 연구는 양자컴퓨팅이 기존 인공지능의 한계를 어떻게 보완할 수 있는지를 구체적으로 보여준 사례”라며, “환경 변화에 대한 적응이 필수적인 로보틱스, 자율주행 등 분야에 활용될 수 있을 것”이라고 밝혔다.
ICML은 ICLR, NeurIPS와 함께 세계 3대 AI 학회로 꼽힌다. ICML 2026은 7월 6일부터 11일까지 서울 코엑스에서 열리며, 전 세계에서 2만 3918편의 논문이 제출돼 6352편이 채택됐다. 이번 연구는 과학기술정보통신부 재원으로 한국연구재단의 중견연구사업과 정보통신기획평가원의 인공지능대학원지원사업, AI 스타펠로우십사업, 지역지능화혁신인재양성사업, SW Star Lab 사업 지원을 받아 수행됐다.
헬로티 이동재 기자 |
