현장 작업자가 로봇 앞으로 손을 뻗는다. 물건을 건네려는 걸까, 작업을 멈추라는 신호일까. 한 발 뒤로 물러섰다면 이동 경로를 비켜준 것인지, 로봇의 접근을 부담스러워한 것인지도 판단해야 한다. 사람에게는 자연스러운 몸짓이지만 로봇에게는 여러 답이 가능한 관측값이다.
앞선 1편에서 다룬 복원의 대상은 물리 세계였다. 한 장의 엑스레이와 제한된 카메라 영상에서 보이지 않는 구조를 추정하고, 가려진 물체와 공간을 다시 입체화하는 방법론이다. 이제 로봇이 다뤄야 할 대상이 물리 세계에서 사람으로 넘어오면 문제는 한층 복잡해진다. 형태·위치를 알아내는 것만으로는 다음 행동을 결정하기 어렵기 때문이다.
사람의 현재 상태는 하나의 센서에 온전히 나타나지 않는다. 표정·목소리·자세·시선 등은 서로 다른 단서를 제공하고, 심박·호흡 같은 생체신호는 겉으로 드러나지 않는 변화를 보여준다. 인공지능(AI)은 이렇게 흩어진 관측값을 함께 해석해 피로·주의도·감정·의도처럼 직접 측정하기 어려운 상태를 추정하는 방향으로 영역을 넓히고 있다.
이 변화는 피지컬 AI(Physical AI)가 인간 세상으로 들어가기 위해 풀어야 할 문제와 맞닿는다. 로봇·장비·설비가 사람을 피해 움직이는 기존 움직임에서 그치지 않는 것인데. 작업자에게 언제 접근하고 멈출지, 도움을 줄지 기다릴지까지 판단해야 해서다. 로봇이 알아야 할 정보가 ‘사람의 현재 상태 읽기’로 확장되고 있다.
“더 이상 로봇에 맞추지 않는다” 돌발 변수 학습하는 ‘협업 지능’
앞의 가상 상황은 이미 실제 로봇 현장에서 기술 과제로 구현되고 있다. 지난 5월 한 행사장에서 만난 로봇 행동 지능 제어 플랫폼 국내 업체 ‘컨피그’의 기술이 한 사례다. 이 업체는 사람·로봇이 같은 작업 공간에서 재활용품을 분류하는 데모를 들고 나왔다. 작업자가 분류대 위에 물체를 올려두면 로봇이 알루미늄 캔을 인식해 별도 수거함으로 옮기는 방식이다.
이 과정에서 사람 손이 로봇의 작업 영역 안으로 들어가자 기체는 기존 동작을 멈추고 즉시 움직임을 조정했다. 사람이 로봇의 작업 속도와 동선에 맞추는 대신, 로봇이 사람의 움직임을 읽고 대응하는 방식이 주목할 부분이다.
이 판단의 밑바탕에는 사람 행동을 데이터로 바꾸는 과정이 있다. 사람이 물체를 잡고 옮기고 놓는 모습을 카메라로 기록한 뒤 각 행동에 동작 값을 부여한다. 이를 다시 로봇 학습에 활용하는 구조다.
로봇이 사람을 읽는 방식은 이 같은 신체 움직임에 머물지 않는다. AI 기반 서비스 로봇 기술 국내 업체 엑스와이지는 올해 3월 제주특별자치도에서 다른 방식의 로봇 지능·행동을 구현한 바 있다.
이들이 선보인 승차 구매(Drive-thru) 솔루션 ‘바리스 DT(Baris DT)’는 사람이 자연어(Natural Language)로 표출한 요구를 해석해 실제 로봇 행동에 연결한다. 음성 인식 AI 기반 멀티모달(Multimodal) 주문 시스템 ‘보이스오더(Voice Order)’가 자연어 요청을 받아 메뉴 추천, 주문 수정, 결제 단계 안내 등을 수행한다. 이후 바리스타 로봇 플랫폼 ‘바리스브루(Baris Brew)’가 실제 음료 제조를 담당하는 서비스 형태다.
실제로 현장에서 기자가 “카페인 없는 음료를 추천해줘”라고 요청했더니 해당 시스템이 조건에 맞는 메뉴를 제안했다. 또 다른 참관객이 “모닝커피 하러 왔어”라고 다소 모호하게 말했을 때도 이를 주문 맥락(Context)으로 해석해 메뉴 추천으로 연결했다.
이채웅 엑스와이지 선임은 “바리스 DT 안에 주문을 받는 보이스오더 AI와 제조를 관장하는 AI가 각각 작동한다”며 “주문 AI가 사용자 대화를 정리해 음료 제조를 담당하는 AI에 넘기면, 정리된 데이터를 바탕으로 실제 음료 제조를 수행하는 방식”이라고 기술 구현 과정을 직관화했다.
▲반면 바리스 DT는 음성을 통한 방식을 지행한다. 사측에 따르면, 향후 다양한 사람 감각을 활용한 방식으로 시스템을 고도화하겠다는 방향성을 제시했다. (촬영·편집 : 헬로티 최재규 기자)
이 두 사례는 인식·분석하는 대상이 다르다. 컨피그의 로봇은 사람 움직임과 작업 경로 변화를 감지하고, 엑스와이지는 사람이 언어로 드러낸 요구·맥락을 실제 행동으로 변환한다. 그러나 사람이 항상 자신의 상태를 몸짓이나 말로 명확히 표현하는 것은 아니기에 이것만으로는 부족하다.
피곤해도 평소처럼 움직일 수 있고 불편해도 말을 아끼면서도, 같은 표정과 목소리라도 맥락에 따라 전혀 다른 의미를 띠기 때문이다. 즉, 사람이 겉으로 드러내는 표면적인 신호만으로는 그 내면과 실제 상태를 온전히 파악하기 어렵다.
이 때문에 인간·로봇 상호작용(HRI)의 인식 범위는 여러 관측값을 함께 해석하는 방향으로 확장된다. 표정·음성·시선·자세처럼 서로 다른 정보를 결합하는 멀티모달 인식, 나아가 이 신호에서 감정과 상태를 추정하는 정서 AI(Affective AI)가 여기에 놓인다. 로봇이 사람의 움직임을 피하고 말을 알아듣는 기존 기술에서, 아직 밖으로 명확히 드러나지 않은 상태까지 읽으려는 시도다.
그렇다면 얼굴·목소리·몸짓으로도 드러나지 않는 상태는 어디에서 찾을 수 있을까. 다음 단서는 사람의 몸 안에서 발생하는 신호에 있다.
뇌파로 마음을 읽어? 비접촉으로 내면 상태를 추정하기
이 지점에서 사람을 읽는 센서는 몸 안쪽에서 발생하는 변화로 상황을 인지한다. 반드시 몸에 센서를 붙여야 하는 것은 아니고, 일반 카메라나 스마트폰으로 얼굴·피부의 미세한 변화를 포착해 심박·호흡 같은 생체 정보를 추정한다. 이른바 ‘원격 광용적맥파(Remote Photoplethysmography, rPPG)’를 활용한 비접촉 방식, 이 접근법이 연구되고 있다.
사람이 겉으로는 비슷한 표정·자세를 유지하더라도, 그 이면에서 일어나는 생리적 변화까지 새로운 관측값으로 끌어오는 기술이다. 드러나지 않는 신호들을 조합해 사람의 실제 상태를 읽어내는 연구, 이를 이어온 연구자가 유원상 동덕여자대학교 데이터사이언스전공 교수다.
그는 의료 AI, 3D 컴퓨터 비전과 함께 뇌 기반 AI를 하나의 연구 축으로 다루고 있다. 교수가 이 분야를 관통하는 공통분모로 제시한 것은 ‘불완전한 관측으로부터 보이지 않는 구조·의미를 복원하는 것’이다.
앞선 1편에서 제한된 영상으로 3차원(3D) 구조를 복원했다면, 뇌 기반 AI에서는 뇌파(EEG)·기능적자기공명영상(fMRI) 등 복잡하고 잡음이 많은 신호를 통해 사람이 보거나 상상하는 내용, 정서·인지 상태를 추정하는 식이다.
특히 뇌파는 인간·기계 상호작용(HMI)의 입력 방식을 바꿀 후보로 꼽힌다. 현재 로봇이나 디지털 시스템은 음성·버튼·터치처럼 사용자가 명확하게 의사를 표현하는 입력에 의존하는 것이 현실이다. 반면 뇌 신호를 해석하는 기술이 고도화되면, 의도·상태·감정·상상 등 사용자가 직접 알리지 않는 정보까지 상호작용의 단서로 활용할 가능성이 열린다는 게 유원상 교수의 인사이트다.
유 교수는 다만 현재 기술 수준에 분명한 선을 그었다. 그는 “뇌파는 변화가 심하고 개인별 차이도 크다. 그리고 노이즈가 많아 아직 밝혀지지 않은 부분이 많다”며 “그러나 향후 이 기술이 발전하면 사람의 내면 요소를 로봇·기계가 더 잘 이해하는 방향으로 갈 수 있다”고 역설했다.
실제로 뇌파는 눈 깜빡임, 근육 움직임, 주변 환경 잡음 등에 영향을 받기 쉽고 사람마다 신호 특성도 크게 다르다는 게 정설이다. 유 교수 역시 현시점의 뇌파 기반 복원 기술을 연구실 수준의 검증 단계로 평가했다.
이러한 연구는 뇌 신호를 분류하는 단순한 과정에서 한발 더 나아간다. 유 교수가 이끄는 연구진은 뇌 신호와 생성형 AI(Generative AI)를 연결해 사람이 지각·상상하는 내용을 외부 표현으로 옮기는 ‘뉴로-아트 AI(Neuro-Art AI)’ 연구도 추진하고 있다. 이는 뇌파·fMRI 등 신호와 생성형 모델 내부의 잠재 공간을 연결하는 설계를 갖춘 기술이다. 직접 관측하기 어려운 인간의 내면 정보를 시각적·예술적 표현으로 확장하고자 하는 접근이다.
유 교수는 이를 ‘곧바로 마음을 읽는 기술’로 받아들이는 과도한 확대해석을 경계했다. 뇌파·생체신호는 사람의 내면을 그대로 보여주는 정답지가 아니라, 상태를 추정하기 위한 또 하나의 불완전한 관측값에 가깝다는 관점이다.
그에 따르면, 같은 신호라도 개인·환경에 따라 의미가 달라질 수 있다. 또한 실제로 눈으로 확인한 시각 정보와 머릿속으로 그린 형상 사이에도 신호 강도와 일관성 차이가 발생한다. 결국 AI가 할 수 있는 일은 여러 요소·단서를 바탕으로 가능성을 좁히는 데 있다.
그럼에도 이 정보가 로봇과 결합하면 상호작용의 범위는 크게 달라질 수 있다고 유 교수가 말했다. 그는 향후 로봇·기계 제어가 마우스·터치처럼 명시적인 명령에만 의존하지 않고, 사용자의 의도와 스트레스·감정 상태까지 반영하는 방향으로 확장될 가능성을 짚었다.
사람의 상태를 추정하는 데 성공했다면 다음 문제는 명확하다. 로봇은 그 정보를 받아 실제 행동을 어떻게 바꿔야 할까.
연속적 동작 실행 중 예고 없이 뛰어든 변수, 판단 기준은?
이처럼 피로·불안·주의도·의도 등 사람의 비가시적 변수를 추정했더라도, 그 정보가 실제 로봇의 행동 메커니즘에 반영되지 않는다면 센서가 하나 늘어난 것과 다르지 않다. 결국 피지컬 AI가 풀어야 할 다음 과제는 ‘포착한 뒤 뭘 바꿀지’다.
이 문제는 이미 로봇 행동 제어 영역에서 구체적인 기술 과제로 다뤄지고 있다. 국내 피지컬 AI 연구 가운데 최종현 서울대학교 교수팀의 시각·언어·행동(VLA) 추론 방법론 ‘스케일(SCALE)’이 바로 그 모델이다. 로봇이 처음 생성한 행동 계획을 끝까지 고수하는 대신, 현재 상황에서 해당 행동이 여전히 적합한지 지속 확인하고 필요하면 즉시 수정하는 구조다.
현실 공간에서는 작업 대상의 위치·상태가 달라지고, 사람이 예고 없이 이동 경로 안으로 들어올 수 있다. 최종현 교수는 이를 연속적인 행동 계획인 ‘액션 롤아웃(Action Rollout)’의 시간차 문제로 설명했다. 일정 구간의 동작을 미리 계산했더라도 수행 도중 환경이 바뀌면 당초 계획이 곧바로 부적절해질 수 있다는 분석이다.
스케일은 여기서 로봇 스스로 추정한 ‘불확실성’을 행동 수정의 기준으로 삼는다. 확신이 높으면 기존 목표에 집중하고, 불확실성이 커지면 주변 탐색 범위를 넓혀 다른 대안을 찾는다.
최 교수는 이러한 방법론에 대해 “현재 수행하는 액션의 불확실성이 높다면 차라리 수행을 일시 중단하고 다른 액션을 로봇이 다시 고르게 하는 방식이 실제 현장 성공률을 높이는 것을 확인했다”고 언급했다.
여기에 앞서 살펴본 사람 상태 정보가 더해지면 행동 수정의 기준도 넓어질 것으로 보인다. 작업자의 피로가 높다고 추정될 때 협동 로봇(코봇)의 속도를 조절하거나, 사용자가 접근을 부담스러워하는 징후가 나타날 때 거리를 확보하는 식이다. 주변 환경뿐 아니라 공존하는 사람의 상태까지 행동 결정 변수로 들어오는 셈이다.
유원상 교수는 피지컬 AI 시대 로봇의 인지 구조에 이러한 방향성이 포함돼야 한다고 봤다. 그는 “로봇이 3D 공간을 이해하는 데서 출발해 영상·촉각·힘·소리·언어·생체신호를 함께 해석하고, 실시간 추론 과정에서는 불확실성을 처리해야 한다”고 설명을 덧붙였다. 그러면서 “여기에 사람의 의도·부담·불안·피로를 이해하는 감성·의도 인지가 결합돼야 실제 인간과 함께 움직이는 로봇으로 확장될 수 있다”는 관점을 전했다.
결과적으로, 추정한 정보가 얼마나 확실한지 판단하고, 상황에 따라 행동을 유지할지 수정할지, 혹은 멈출지를 결정하는 과정까지 하나의 지능 구조로 묶여야 한다.
문제는 여기서부터 더 까다로워진다. 로봇이 사람의 감정·의도를 잘못 읽었을 때, 어디까지 행동하도록 허용할 것인지. 이 질문은 윤리·책임·적용의 경계로 이어진다.
마음 읽는 로봇, 경계는 어디까지?
Q. 사람의 감정·의도를 추정하는 기술이 로봇 행동에 반영되는 단계까지 가고 있는 것으로 보인다. 어디까지 허용해야 한다고 보는지?
감정이나 의도를 하나의 정답처럼 단정하는 방식은 위험합니다. 특히 감성 AI나 뇌신호 AI가 다루는 정보는 사람의 상태를 민감하게 반영하기 때문에 더욱 신중해야 합니다. 현재로서는 AI가 사람의 감정이나 의도를 최종적으로 판정하는 시스템보다는, 여러 신호를 토대로 상태를 추정해 사람의 판단을 돕는 보조 정보로 활용하는 구조가 적절하다고 봅니다.
로봇도 마찬가지입니다. 사람의 피로·불안·부담 등을 추정했다고 해서 그것을 사실로 단정하고 곧바로 강한 행동을 취하는 것은 바람직하지 않습니다. 결국 인간 상태를 이해하는 기술과 함께 그 판단의 한계를 인지하는 시스템이 같이 설계돼야 합니다.
Q. 그렇다면 로봇이 사람의 상태를 확실하게 판단하지 못했을 때는 어떤 원칙이 필요할까?
불확실성을 처리하는 능력이 중요합니다. 현실 세계와 생체신호에는 노이즈가 많기 때문에 AI가 항상 확실한 답을 낼 수는 없습니다. 로봇은 변화하는 환경에서 빠르게 판단해야 하지만, 자신이 확신하지 못하는 상황에서는 안전하게 멈추거나 사람에게 다시 확인할 수 있어야 합니다.
좋은 AI는 관성적으로 답을 내놓는 AI가 아닙니다. 자신이 얼마나 확신하는지 알고, 필요할 때 행동을 보류할 수 있어야 합니다. 특히 사람과 직접 공간을 공유하는 로봇은 이런 불확실성 관리가 안전과 직결됩니다.
Q. 뇌파·심박 등 생체신호가 로봇의 새로운 입력 정보가 된다면, 최근 다양한 기술 영역의 화두로 떠오른 사생활(Privacy) 문제도 커질 것 같은데.
맞습니다. 생체신호와 뇌신호는 일반적인 센서 데이터보다 개인의 상태를 비교적 민감하게 반영합니다. 그래서 데이터 보호는 물론 사용자 동의, 사용 목적 제한, 결과 해석 과정의 신중함이 모두 필요합니다.
특히 한 가지 목적으로 수집한 뇌·생체 데이터를 다른 목적으로 확대 사용하는 문제를 경계해야 합니다. 기술적으로 추정할 수 있다는 사실과 실제 서비스에서 그것을 활용해도 된다는 것은 전혀 다른 문제입니다.
감성 AI가 발전할수록 정확도뿐만 아니라, 데이터 수집 및 상태 추정의 허용 범위와 가이드라인도 함께 구축돼야 한다고 생각합니다.
Q. 이런 기술이 실제 산업 시스템에 녹아들기 위해 넘어야 할 가장 큰 허들은?
논문에서 높은 정확도를 기록하는 것은 출발점에 불과합니다. 실제 시스템에서는 ▲재현성 ▲강건성 ▲실패 처리 ▲설명 가능성 ▲유지보수성 ▲책임 구조 등을 모두 고려해야 합니다. 조명·장비·사용자·환경이 달라져도 성능이 쉽게 무너지지 않아야 하고, 모델이 틀렸을 때는 스스로 확신 부족을 감지해야 합니다.
산업 현장에서는 정상적인 상황보다 예외 상황과 경계 사례, 즉 비정형성이 강조될 때가 많습니다. 연구실 내 폐쇄적 환경에서 진행되는 연구 과정에서 잘 작동한 모델도 실제 현장에서는 사용자 행동이나 장비 편차 때문에 결과가 달라질 수 있습니다. 그래서 연구 성능을 실제 현장에서 반복 검증할 수 있는 실증 환경이 필요합니다.
Q. 국내 중소 로봇 제조사가 피지컬 AI나 감성 AI를 제품에 적용하려면 어떤 접근이 현실적이라고 보는지.
현재 국내 피지컬 AI 관련 연구·투자는 아직 대기업 중심으로 진행되는 측면이 있다고 분석됩니다. 중소 규모의 로봇 제조 생태계가 이를 바로 자체 제품 개발에 적용하기까지는 시간이 더 필요하다는 관점에 무게를 둡니다.
그래서 로봇 분야의 중소 업체와 연구실 사이의 긴밀한 협력이 중요하다고 생각합니다. 대학에서 연구하는 최신 3D 복원이나 AI 기술을 실제 기업의 문제와 연결하고, 이를 기술이전으로 이어가는 선순환 협력 모델이 필요합니다.
다만 이 과정에서 연구실을 저비용 개발팀으로 보는 것을 경계해야 합니다. 연구개발(R&D) 주체는 새로운 알고리즘과 실증 가능한 연구 결과를 만드는 곳입니다. 실제 제품으로 구현하려면 데이터 파이프라인, 사용자 인터페이스, 서버·에지(Edge) 배포, 보안, 품질관리, 유지보수 등 별도의 과정이 필요합니다.
반대로 연구자도 논문의 성능 지표만 높으면 기업이 곧바로 사용할 것이라는 생각에서 벗어나야 합니다. 현장에서는 정확도만큼 속도·안정성·비용·통합·대응이 중요합니다.
Q. 마지막으로 글로벌 AI 경쟁에서 우리가 가져야 할 차별화 전략이 있나?
범용 AI 모델의 크기만 놓고 경쟁하는 방향을 계속 바라볼 필요는 없다고 생각합니다. 한국은 제조·로보틱스·의료·콘텐츠처럼 이미 경쟁력과 현장 데이터를 확보한 산업 영역이 있습니다. 결국 이런 도메인의 데이터와 실제 현장성을 기반으로, 특화 AI를 만드는 것이 하나의 전략이 될 수 있습니다.
앞으로의 시장은 ‘물리 세계와 인간 경험의 소프트웨어화’로 갈 가능성이 큽니다. 생성형 AI가 콘텐츠와 설계를 만들고, 3D 비전이 현실 공간을 복원한 이후, 로봇이 그 공간에서 행동하는 연계 구조로 진화할 것입니다.
여기에 감성 AI까지 결합하면 사람의 의도와 정서 상태를 고려해 상호작용하는 시스템으로 확장될 전망입니다. 우리가 가진 산업 현장과 데이터를 얼마나 자신만의 AI로 구조하는지. 그것이 미래 글로벌 AI 시장을 주도할 열쇠가 될 것입니다.
헬로티 최재규 기자 |
