KAIST 연구진이 ‘뇌처럼 생각하는 인공지능’ 기술로서 과도한 자신감을 보이는 인공지능의 할루시네이션(Hallucination) 현상을 완화하거나 인간이나 동물과 유사하게 스스로 가설을 세워 검증하는 신개념 인공지능 모델을 개발하는데 성공했다.
KAIST는 뇌인지과학과 이상완 교수(신경과학-인공지능 융합연구센터장)와 생명과학과 정민환 교수(IBS 시냅스 뇌질환 연구단 부연구단장) 연구팀이 동물이 가설을 세워 일관된 행동 전략을 유지함과 동시에, 본인의 가설을 스스로 의심하고 검증하면서 상황에 빠르게 적응하는 새로운 강화학습 이론을 제시하고 뇌과학적 원리를 규명했다고 20일 밝혔다.
현재 상황에 맞게 행동의 일관성과 유동성 사이의 적절한 균형점을 찾아가는 문제를 ‘안정성-유동성의 딜레마(Stability-flexibility dilemma)’라고 한다. 이를 위해서는 현재 본인의 판단이 맞는지를 계속 검증하고 수정할 수 있어야 한하는데 뇌과학 및 인공지능 분야에서 다양한 연구가 있었으나 아직까지 완벽한 해법이 알려진 바가 없다.
연구팀은 스스로 세운 가설을 바탕으로 다음 상황을 예측하고 확인하는 행동 패턴을 동역학적으로 프로파일링 할 수 있는 새로운 방식을 고안했고, 이를 바탕으로 전통적인 강화학습 이론과 최신 인공지능 알고리즘 모두 동물의 관련 행동을 제대로 설명하지 못한다는 것을 발견했다.
이어 연구팀은 동물의 현재 상황에 대한 가설을 세우고, 가설의 예측 오류를 바탕으로 행동 전략을 비대칭적으로 업데이트하는 새로운 적응형 강화학습 이론과 모델을 제안했다. 최신 인공지능 모델은 효율적 문제 해결에 집중하다 보니 인간이나 동물의 행동을 잘 설명하지 못하는 경우가 많은 반면, 제안 모델은 예상치 못한 사건에 대한 동물의 행동을 최신 인공지능 모델 대비 최대 31%, 평균 15% 더 잘 예측함을 보였다.
특히 이 결과는 기존 연구에서 발표된 네 가지 서로 다른 동물 실험 데이터(two-step task, two-armed bandit task, T-maze task, two-armed bandit task with MSN inactivation) 분석을 통해 일관성 있게 재현됐다.
연구팀은 더 나아가 중뇌 기저핵 선조체속 중간크기 가시뉴런이 가설 기반 적응형 강화학습 과정에 관여함을 밝혔다. 직접 경로 가시뉴런들은 예상한 사건을 마주한 경험을, 간접 경로 가시뉴런들은 예상하지 못한 사건을 마주한 경험을 부호화해 행동 전략을 조절함을 보였다.
연구 결과는 뇌의 맥락 추론 방식이 대규모 인공지능 모델과 근본적으로 다르다는 것을 보여준다. ChatGPT나 딥시크와 같은 인공지능 모델은 사용자 입력으로부터 맥락 정보를 추정하고 이를 바탕으로 필요한 전문가 시스템에 매칭하며 (딥시크 모델은 강화학습을 사용하여 매칭), 새로운 정보가 들어올 때까지는 이것이 맞다고 가정한다.
이와 달리 뇌는 스스로 추정한 맥락(가설)을 의심하고, 의심이 확인되는 즉시 새로운 맥락을 적극 받아들인다. 이는 과도한 자신감을 보이는 인공지능의 할루시네이션(Hallucination) 현상을 완화하거나 인간과 유사한 추론엔진을 구성할 수 있는 새로운 방향성을 제시한다.
본 연구는 뇌과학-인공지능 융합연구로서, 실제 분야에 널리 활용될 수 있다. 예를 들어, 인간의 동역학적 행동 프로파일링 기술을 이용하면 개개인의 가설 수립, 검증 학습 능력 분석이 가능하므로, 맞춤형 교육 커리큘럼 디자인, 인사 및 인력관리 시스템, 인간-컴퓨터 상호작용 분야에 바로 적용할 수 있다.
제안된 적응형 강화학습 모델은 ‘뇌처럼 생각하는 인공지능’ 기술로서 인간-인공지능 가치 정렬(Value alignment) 문제 해결에 활용될 수 있다. 또한 이 과정에 관여하는 것으로 알려진 기저핵 내 보상학습 회로와 관련된 중독이나 강박증과 같은 정신질환의 뇌과학적 원인 규명에 활용될 수 있다.
연구 책임자인 이상완 교수는 “이번 연구는 인공지능의 강화학습 이론만으로 설명할 수 없는 뇌의 가설 기반 적응학습 원리를 밝혀낸 흥미로운 사례”라며 “스스로 의심하고 검증하는 뇌과학 이론을 대규모 인공지능 시스템 설계와 학습 과정에 반영하면 신뢰성을 높일 수 있을 것”이라고 말했다.
한편 이번 연구는 과학기술정보통신부 정보통신기획평가원 SW스타랩, 한계도전 R&D 프로젝트, 한국연구재단 중견연구자 및 KAIST 김재철AI대학원 사업 지원을 받아 수행됐다.
헬로티 이창현 기자 |
