2016년, 인공지능(AI)은 바둑판 위에서 인간 최고수를 넘어섰다. 이후 10년 동안 AI는 글쓰기, 그림 만들기, 코드 설계하기 등 고도화 단계까지 올라섰다. 그런데 화면 속에서만 살던 AI가 현실로 나오자 새로운 숙제가 생겼다. 인간에게는 단 몇 초면 끝나는 컵 집기가 로봇에 탑재된 AI에게 위치 인식과 정교한 힘 제어를 동시에 요구하는 작업이 된다.
이 차이는 현실이 데이터를 만드는 방식에서 벌어진다. 로봇은 움직이는 과정에서 생기는 힘과 접촉 정보를 직접 만들어야 한다. 게다가 AI의 주무대인 가상 환경처럼 실패를 무한 반복하기도 어렵다. 실제 산업 현장에서는 작은 오차도 곧바로 작업 손실과 안전 문제로 이어질 수 있기 때문에 이러한 한계는 반드시 개선돼야 한다.
그래서 모니터 화면에서 벗어나 실제 하드웨어를 구동하는 일명 '피지컬 AI(Physical AI)' 더 큰 똑똑한 두뇌를 얹는 것만으로 부족하다. 인간과 공존하며 다양한 가치를 만들려면 현실의 변화를 받아들이고 몸, 바꿔 말하면 로봇·설비·장비 등 하드웨어를 다룰 수 있어야 한다. 한 현장에서 익힌 감각을 다른 작업과 환경으로 옮기는 과정도 필요하다.
이미 충분히 똑똑한 AI를 실제 세상에서 ‘일하게’ 만드는 일은 이제부터 본격적으로 펼쳐진다.
AI가 몸을 얻자 ‘정답’이 행동으로...로봇의 시험지가 바꼈다
AI가 다뤄온 문제는 줄곧 사용자 화면(UI) 안에 있었다. 초기 예측형 AI(Predictive AI)은 주어진 선택지에서 답을 찾았고, 생성형 AI(Generative AI)는 문자·그림처럼 전에 없던 결과물을 만들어냈다. 최근에는 목표를 받은 뒤 필요한 절차를 스스로 짜고 관련 도구(Tool)까지 불러 쓰는 에이전틱 AI(Agentic AI)가 대세다.
장병탁 서울대학교 교수는 그다음 변화를 디지털 영역에 머물던 AI가 몸을 얻어 현실에 개입하는 단계로 봤다. 이때부터 AI가 내놓는 결과물의 성격도 바뀐다. 보고서에서는 문장을 만들어내는 것으로 충분하지만, 로봇은 판단을 실제 움직임까지 끌고 가야 한다. 주변을 살피고 작업 순서를 정한 뒤 손·팔, 필요하면 몸 전체를 움직여 결과를 만들어내는 과정까지 AI의 몫이 된다는 주장이다. 지능이 로봇의 구동부(Actuator)·센서 등 사이를 오가며 현실에 흔적을 남기는 법이다.
장 교수는 과일을 옮기라는 인간의 명령을 예로 들었다. AI가 말뜻을 이해하는 것부터 주변 영상을 읽고, 대상물을 찾아 행동으로 이어야 비로소 작업이 완성된다는 설명이다. 그는 “‘물 좀 갖다 줘’라고 하면 지금의 생성형 AI는 어쩔 줄 모른다”며 “손이 없고 보지도 못하기 때문”이라고 말했다.
이처럼 외부 환경을 감지·판단한 뒤 몸을 통해 행동으로 옮기는 지능, 이른바 체화 AI(Embodied AI)가 피지컬 AI의 핵심부로 기대받고 있음을 시사했다.
장 교수가 휴머노이드 로봇(Humanoid Robot)에 주목한 배경도 이 대목과 맞닿아 있다. 사람이 생활하는 환경 자체가 인간의 몸을 기준으로 만들어졌기 때문이다. 이들 환경은 계단 높이와 문의 크기부터 손잡이와 각종 도구까지 사람의 신체 조건을 전제로 한다.
교수는 “휴머노이드가 충분한 지능을 갖추면 문을 안 바꾸고 여기 들어와서 인간에게 도움을 줄 수 있다”고 짚었다. 로봇을 위해 공장·물류센터나 생활 공간 전체를 다시 설계하는 대신, 기존 환경에 로봇이 들어가는 접근이다.
여기에 최근 로봇 AI가 겨냥하는 변화는 로봇의 사용법에서도 드러난다. 사람이 모든 동작을 미리 정해주는 기존 방식에서 벗어나, 로봇 스스로 행동의 중간 과정을 메우는 방향이다.
구글의 AI 연구개발(R&D) 조직 딥마인드(DeepMind)가 개발한 로봇 제어용 AI 모델 시리즈 '로봇 트랜스포머(Robotics Transformer 이하 RT)'에 설계된 구조가 대표적이다. 언어 명령과 영상을 입력받아 상황을 파악한 뒤 행동 출력을 생성하는 방식이다. 장 교수는 이를 두고 “명령·영상이 들어오면 화면을 지각·생각해 행동으로 옮긴다”고 메커니즘을 설명했다.
이 흐름은 전통 로봇 형태(Form-factor)인 산업용 로봇의 활용법도 전환시키고 있다. 김민표 두산로보틱스 대표는 기존 산업용 로봇이라면 작업자가 ‘어떻게(How)’ 움직일지를 일일이 알려줘야 했지만, 에이전틱 AI가 이식된 로봇은 목표를 받은 뒤 계획을 거듭 수정하며 작업을 이어간다는 인사이트를 전했다. 두산로보틱스가 로봇 소프트웨어를 에이전트 중심으로 손보는 상황도 이 맥락과 같다는 설명이다.
김 대표는 이 변화에 대해 “어떻게 할지를 프로그래밍하는 시대에서 뭘 하면 될지를 지시하는 시대”라고 압축했다. 작업자가 로봇의 모든 궤적을 짜주는 대신 목적을 건네고, 그 사이의 판단·행동을 지능이 채우는 구조다. 피지컬 AI가 혁신하려는 부분은 로봇의 동작 몇 개보다, 사람·기계가 일을 나누는 방식 자체라는 메시지다.
다만 디지털 정보 안에서 성능을 높여온 AI의 기존 학습 방식을 로봇에 그대로 옮기기는 어렵다. 김 대표는 “피지컬 AI는 거대언어모델(LLM)의 연장선이 아니라면서, 피지컬 AI는 이와는 별개의 문제라고 선을 그었다. 인터넷이라는 거대한 학습 재료를 이용할 수 있었던 LLM과 달리, 로봇은 실제 기계를 움직여 결과를 확인해야 한다는 이유에서다. 디지털 영역에서 누렸던 풍부한 데이터, 손쉬운 검증, 낮은 실패 비용도 물리 세계에서는 그대로 복제하기 어렵다는 게 그의 진단이다.
이렇게 AI의 학습 방식은 훨씬 까다로워졌다. 그렇다면 로봇이 현실에서 쓸 데이터는 누가, 어떻게 만들어야 할까.
“현장 데이터, 과연 쓸 만한가” 관련은 베테랑 작업자의 손끝 데이터
피지컬 AI에서 데이터의 문제는 단순히 양으로 설명하기 어렵다. 공장 안에는 이미 수많은 설비 운영·동작 기록과 센서 정보가 쌓여 있지만, 그대로 AI 학습에 투입할 수 있는지는 별개의 문제다.
김민표 대표도 이 상황을 주시했다. 그는 현장 데이터가 풍부한데 과연 그것이 쓸 만한 데이터인지는 여전히 미지수라고 되물으며, “로봇이 작업 과정에서 만들어내는 힘과 전기 신호 같은 정보를 AI가 읽을 수 있는 형태로 바꿔야 한다”고 봤다.
단순한 영상 기록만으로는 부족하다는 뜻이기도 하다. 로봇이 물체를 잡았다면 카메라에는 손이 물체에 닿는 장면이 남지만, 실제 작업을 구현하는 정보는 그 안쪽에서 더 많이 생긴다. 어느 시점에 얼마만큼 힘을 줬는지, 액추에이터가 어떤 반응을 보였는지까지 읽혀야 AI가 행동과 결과 사이의 관계를 배울 수 있다.
▲ 로봇 팔 말단에 장착된 촉각 센서(Tactile Sensor)가 접촉 위치·힘의 분포를 인식한다. 힘·토크 감지 데모. (촬영·편집 : 헬로티 최재규 기자)
두산로보틱스는 바로 이 ‘영상 밖의 정보’를 AI가 읽을 수 있도록 만드는 데 초점을 맞추고 있다. 제어기(Controller)에서 발생하는 각종 현장 데이터를 한데 융합하는 과정. 관측성(Observability), 즉 로봇 내부에서 어떤 상태 변화와 동작이 일어났는지를 AI가 읽고 해석할 수 있는 정도를 높이려는 접근이다.
사측은 컨트롤러·센서 등에서 나온 정보를 ‘데이터 스키마(Data Schema)’로 묶는 방식을 택했다. 데이터 형식과 서로의 관계를 일정하게 정리해 에이전트가 로봇 상태·행동을 함께 읽도록 만드는 접근법이다.
이런 학습 데이터를 확보하는 직관적인 방법으로, 사람이 하던 일을 그대로 보여주는 방식이 제격이라는 주장이 나왔다. 장병탁 교수는 사람이 로봇 팔(Robot Arm)을 직접 움직이거나 작업을 시연하고, 그 과정에서 나온 행동 정보를 기록해 학습시키는 방식을 소개했다.
옷을 개는 동작을 여러 차례 보여주면 로봇이 그 패턴을 익히고, 이후 스스로 같은 작업을 수행하는 식이다. 로봇을 직접 만지지 않고 가상 장비 등을 활용해 움직임을 전달하는 ‘원격 조작(Teleoperation)’도 같은 목적에서 쓰인다.
▲ 동양미래대학교의 가상현실(VR) 기반 원격 조작 로봇 플랫폼. 사용자 팔 움직임을 VR로 받아 로봇을 조작하는 장면이다. (촬영·편집 : 헬로티 최재규 기자)
장 교수는 이런 데이터 생산 체계를 '데이터 팩토리(Data Factory)'로 풀었다. 피지컬 AI는 필요한 행동 데이터를 현실에서 새로 만들어야 한다는 시각이다. 그는 “기계가 사람처럼 일하려면 사람처럼 배워야 된다”며 그 배경을 강조했다.
그러면서 한 번의 학습으로 끝나는 구조로는 안 된다는 뜻도 명확히 했다. 비정형적인 변수가 끊임없이 생기는 실제 환경에서는 시뮬레이션에서 익힌 행동도 현장 조건에 맞춰 다시 조정하고 학습해야 한다는 설명이다.
사람이 가르칠 수 있는 데이터는 손재주(Dexterity)보다 넓다. 제조 현장에는 오랜 시간 작업하면서 체득한 판단 기준도 쌓여 있다. 오순영 아마존웹서비스(AWS) 수석은 베테랑 기술자가 기계 소리의 미세한 변화만으로 이상 징후를 알아채고, 같은 소재에서도 어떤 조건에서 불량이 자주 발생하는지 짚어내는 장면을 예로 들었다. 수치로 정리된 매뉴얼보다 먼저 몸에 밴 경험이 작동하는 영역이다.
이어 오 수석은 이런 경험을 제조 현장의 중요한 지적 자산으로 봤다. 문제는 그 지식이 한곳에 모여 있기보다 작업자 개인의 경험부터 장비 내부 데이터, 여러 부서의 시스템 등에 산재해 있다는 점이다. 그는 숙련 기술자가 익힌 판단을 기록·검증하면 다음 세대가 더 빠르게 습득하고, 다른 생산 라인에서도 활용할 수 있다고 설명했다. 뒤이어 그것이 아마도 업계가 바라보는 AI일 것이라고 부연했다.
이렇게 기록된 경험은 불량 원인을 파악하거나 설비 이상에 대응하는 데도 쓰일 수 있다. 소재·가공 조건에 품질 판정과 정비 이력까지 겹쳐 보면, 어떤 상황에서 문제가 반복되는지 원인을 좁혀갈 수 있다. 오 수석은 현장에 축적된 경험을 작업 지원에 활용하는 데서 나아가 장비 대응 서비스로 연결하는 가능성까지 언급했다.
그 경험을 다른 공정·공장까지 옮기려면 데이터 전이(Data Transfer)가 뒤따른다. 김민표 대표는 한 현장에서 성공적으로 확보한 데이터를 다른 현장에 어떻게 옮길 것인지도 피지컬 AI가 풀어야 할 과제로 꼽았다. 설비 구성과 작업 조건이 달라지면 같은 작업이라도 필요한 제어 방식과 판단 기준이 달라질 수 있어서다.
오 수석의 시각도 동일하다. 공장·물류센터마다 데이터 형식과 시스템 기준이 제각각이면 다른 거점에 적용할 때 정리·검증 작업부터 다시 거쳐야 한다는 메시지다. 공통으로 가져갈 데이터 구조와 각 공장에 맞춰 운용할 AI 체계를 함께 설계해야, 한 공장에서 만든 성과를 다른 생산 거점으로 옮기기 수월해진다는 주장이다.
전문가들에 따르면, 문제는 현실에서 필요한 경험을 모두 직접 만들어내기에는 시간·비용 부담이 크다. 실제 현장에서 확보한 데이터를 가상 환경으로 옮겨 학습 범위를 넓히는 시뮬레이션이 필요한 배경이다.
수백만 번 실패해도 괜찮은 세계...그러나 현실은 다르다
이처럼 규칙이 명확한 가상 환경에서는 시행착오 자체를 대규모로 만들어낼 수 있다. 과학 커뮤니케이터 겸 방송인 궤도(본명 김재혁)는 그 사례로 인간의 기보를 학습하지 않은 ‘알파고 제로(AlphaGo Zero)’를 들었다.
그는 이 모델에 대해 바둑에서 ‘자기대국(Self-play)’, 다시 말해 AI가 스스로 상대가 돼 대국을 반복하며 새로운 기보를 만들었다고 성장 방법론을 전했다. 실제로 그렇게 축적한 경험을 행동 결과에 따라 전략을 수정하는 강화학습(Reinforcement Learning)에 활용해, 그동안 인간이 남긴 기보 없이 바둑을 익혔다.
이런 반복 학습은 AI가 물리적인 몸을 얻는 순간 조건이 달라진다. 궤도는 “AI가 이제 실수조차 거의 하지 않을 만큼 똑똑해졌지만, 실질적으로 그렇게 됐냐고 물는다면 그렇지 않다”며 “이제 우리가 몸을 갖는 AI를 만나게 된다”는 취지로 기존 AI와 피지컬 AI 사이의 변화를 언급했다.
실제로 로봇은 한 번의 시도에도 시간·장비가 투입되고, 물체와 충돌하거나 작업에 실패하면 그 결과가 생각보다 치명적이다. 현실에서 만들기 부담스러운 경험을 시뮬레이션으로 옮겨 먼저 쌓자는 접근이 업계 전반으로 번지는 것도 이 때문이다.
그렇게 시뮬레이션에서 늘린 경험이 현실에서도 같은 결과를 낼지는 별개의 문제다. 로보틱스 연구에서는 시뮬레이션에서 익힌 행동을 실제 로봇에 적용하는 과정을 ‘시뮬레이션·현실 전이(Sim2Real)’라고 부른다. 이때 가상 공간에서 보였던 성능과 실제 환경에서 나타난 결과 사이에 벌어지는 차이가 ‘시뮬레이션·현실 격차(Sim2Real Gap 이하 심투리얼 갭)’다.
▲ 구동 제어 솔루션 업체 모벤시스의 모션 제어 소프트웨어 'WMX' 가동 모습. 시뮬레이션과 현실 사이 지연(Latency)을 줄이는 기술이 적용돼 있다. (촬영·편집 : 헬로티 최재규 기자)
김민표 대표도 이 간극을 피지컬 AI가 마주한 과제로 꼽았다. 사람을 통해 직접 수집 가능한 데이터 규모에는 한계가 있기 때문이다.
이를 보완하는 수단이 바로 ‘합성 데이터(Synthetic Data)’다. 실제 현장에서 모든 상황을 일일이 만들어 수집하는 대신, 시뮬레이션에서 작업 조건을 바꿔가며 생성한 학습용 데이터를 뜻한다. 김 대표는 사람에게 의존했던 데이터 생산 범위를 이런 방식으로 넓히는 접근이 유효하다고 평가했다.
이처럼 데이터양을 늘린 뒤에는 현실과 얼마나 비슷하게 만들었는지가 문제로 남는다. 김 대표에 따르면, 최근 몇 년 동안 로봇이 주변을 인식하고 이동하는 영역에서는 심투리얼 갭이 상당 부분 좁혀졌다. 반면 물체와 직접 맞닿는 작업으로 들어가면 난도가 다시 높아진다.
그 차이는 로봇이 물체에 힘을 전달하는 순간부터 벌어진다. 같은 동작이라도 표면의 마찰이나 물체가 변형되는 정도에 따라 필요한 힘과 제어 방식이 달라지기 때문이다. 김 대표는 접촉 과정에서 생기는 물리적 상호작용뿐 아니라, 작업의 성공·실패를 가르는 미세한 판단까지 현재 시뮬레이션이 충분히 재현하기 어려운 영역으로 꼽았다. 숙련 기술자의 감각이 여전히 필요한 부분이다.
두산로보틱스도 이 문제를 모든 작업에 한꺼번에 풀기보다 숙련도가 필요한 특정 공정으로 범위를 좁혀 접근하고 있다. 대표적인 예가 표면을 갈아내는 연마(Sanding)다. 로봇이 정해진 경로를 따라 움직이는 데서 끝나는 작업이 아니라, 어느 정도의 힘을 줄지 정하고 작업 뒤 결과가 기준에 맞는지까지 판단하는 데서 비롯된다. 김 대표는 지능형 솔루션에서도 이런 변수 설정과 성공 여부 판정에 숙련 기술자의 경험이 개입해야 한다고 역설했다.
가상에서 늘린 학습 데이터를 실제 로봇에 적용한 뒤에는 현장에서 벌어진 변화를 다시 가상 모델에 반영하는 과정이 뒤따른다. 한국기계연구원(KIMM 이하 기계연)의 수장인 류석현 원장은 이 사이를 잇는 기술로 ‘디지털 트윈(Digital Twin)’을 제시했다. 실제 설비·공정 상태를 디지털 공간에 대응시켜 현실의 변화를 함께 다루는 방식이다.
류 원장은 이를 “현실 세계와 AI 에이전트 사이를 연결하는 것”이라고 설명했다. 그는 이 연결이 중요한 이유로, 시뮬레이션이 현실과 계속 맞물려 구동해야 하는 과정을 제시했다. 그는 “실제 공정에서 들어온 상태 정보가 디지털 모델에 반영되면 AI는 현재 조건을 바탕으로 공정을 분석하고, 그 결과를 다시 현실 시스템에 적용할 수 있다”는 것이 그의 관점이다.
실제로 기계연은 각종 제조 공정을 대상으로 디지털 트윈 연구를 이어오고 있다. 류 원장은 이차전지 롤투롤(Roll-to-roll) 공정 최적화를 적용 사례로 들었다. 롤 형태의 소재를 연속적으로 이동시키며 가공하는 생산 공정을 디지털 모델과 연결해 상태를 분석하고 최적화하는 접근이다.
그는 해당 사례를 미국 주도의 디지털 트윈 컨소시엄(Digital Twin Consortium)에 유스케이스(Use Case)로 제출했다고 소개했다.
헬로티 최재규 기자 |
