이미지, 소리, 텍스트 등 여러 형태의 데이터를 함께 학습하는 멀티모달 AI가 단일 데이터만 학습한 AI보다 더 안정적으로 작동하는 이유가 수학적으로 규명됐다.
UNIST는 인공지능대학원 윤성환 교수팀이 멀티모달 인공지능이 단일모달 인공지능보다 더 좋은 성능을 내는 원리를 ‘손실 지형’의 평탄화 관점에서 밝혔다고 26일 밝혔다.
멀티모달 학습은 이미지, 음성, 텍스트처럼 서로 다른 형태의 데이터를 함께 활용해 AI가 같은 대상이나 상황을 더 폭넓게 이해하도록 하는 학습 방식이다. 그동안 멀티모달 AI가 단일모달 AI보다 성능이 뛰어나다는 점은 경험적으로 알려져 있었지만, 실제 딥러닝 학습 과정과 연결해 이를 설명하는 이론적 근거는 부족했다.
연구팀은 여러 모달리티의 데이터를 함께 학습할 경우 손실 지형이 더 평탄해지고, 이로 인해 AI의 강건성이 향상된다는 점을 수학적으로 설명했다.
손실 지형은 AI가 학습 과정에서 겪는 오차와 모델 내부 설정값의 관계를 산과 골짜기처럼 표현한 개념이다. 손실 지형이 뾰족하고 가파르면 학습 데이터와 조금만 다른 입력에도 성능이 흔들릴 수 있다. 반대로 넓고 완만하면 경험하지 못한 새로운 데이터가 들어와도 성능을 안정적으로 유지하기 쉽다.
연구팀은 멀티모달 학습에서 손실 지형이 평탄해지는 이유를 ‘합성곱 스무딩 효과’로 설명했다. 서로 다른 데이터가 함께 학습되면서 오차의 거친 변화가 평균화되듯 완화된다는 것이다. 예를 들어 이미지 하나만 보고 학습할 때 나타나는 뾰족한 오차 변화가 음성이나 문장 정보와 함께 학습되면서 눌리고 퍼지는 방식이다.
연구팀은 이 같은 이론적 증명을 바탕으로 새로운 학습법인 ‘분포 기반 멀티모달 학습(DML)’도 제안했다.
기존 멀티모달 학습은 이미지 하나와 이에 정확히 대응하는 음성이나 문장 하나를 고정된 쌍으로 묶어 학습하는 방식이 일반적이었다. 반면 DML은 같은 정답 범주 안에서 서로 다른 모달리티의 데이터를 무작위로 다시 짝짓는다.
이 방식은 학습 데이터 조합을 훨씬 다양하게 만들어 손실 지형의 평탄화 효과를 극대화한다. 같은 범주에 속한 여러 이미지, 음성, 텍스트가 다양한 조합으로 연결되면서 AI가 특정 데이터 쌍에 과도하게 의존하지 않고 더 일반화된 특징을 학습할 수 있다는 설명이다.
연구팀은 여러 멀티모달 실험용 데이터셋을 활용해 DML의 성능을 검증했다. 그 결과 DML은 기존처럼 정해진 데이터 쌍만 학습하는 방식보다 분류 정확도가 높았다. 사진을 보고 맞는 설명문을 찾거나, 설명문을 읽고 맞는 사진을 찾는 실험에서도 더 높은 정답률을 보였다.
이번 연구에는 UNIST 인공지능대학원 이재준 연구원이 제1저자로 참여했다.
연구팀은 “이번 연구는 멀티모달 AI가 왜 더 강건하게 일반화될 수 있는지에 대한 이론적 근거와 그 근거를 활용한 단순하지만 효율적인 새로운 멀티모달 샘플링 학습 방법을 제시했다”며, “향후 데이터를 보다 효율적으로 활용하면서도 외부 노이즈나 교란에도 흔들림 없이 안정적으로 작동하는 강건한 AI를 설계하는 중요한 기반 기술이 될 것”이라고 밝혔다.
이번 연구는 인공지능 분야 국제 학술대회인 국제 머신러닝 학회(ICML 2026)에서 발표될 예정이다. 올해 ICML은 다음 달 6일부터 서울에서 열린다. 연구는 과학기술정보통신부와 한국연구재단의 중견연구사업, 과학기술정보통신부와 정보통신기획평가원이 지원하는 초거대산업AI연구지원사업, 인공지능대학원지원사업, AI 스타펠로우십사업, 지역지능화혁신인재양성사업의 지원을 받아 수행됐다.
헬로티 이동재 기자 |
