음료 컵 하나를 옮긴다. 그리고 흐트러진 의자를 밀어 넣고, 쓰레기를 집어 버린 뒤 테이블을 닦는다. 사람에게는 별다른 생각조차 필요 없는 일상의 연속. 하지만 로봇에 같은 일을 맡기는 순간 이야기가 달라진다. 대상을 인식·파지한 뒤, 힘을 조절하며 연속 동작까지 수행해야 한다.
특히 서비스 공간은 정해진 좌표와 반복 공정으로 움직이는 공장 속 생산 라인과 다르다. 컵 위치가 조금만 바뀌어도 파지 자세가 달라지고, 의자는 밀리는 방향과 마찰이 매번 다르다. 또한 걸레질처럼 표면과 지속 접촉하는 작업은 힘을 너무 주면 물체를 밀어버리고, 반대로 힘을 빼면 작업 자체가 성립하지 않는다. 로봇에게 ‘사소한 일’이 없는 이유다.
여기에 사람과 같은 공간을 써야 한다는 조건도 난제다. 팔이 목표 위치에 정확히 도달하는 것만으로는 부족하다. 누군가 몸을 부딪치거나 예상치 못한 외력이 들어왔을 때는 버티는 대신 힘을 빼야 한다. 이 밖에 작업 대상이 변형되기 쉬운 물체라면 손끝 압력도 달라져야 한다. 잘 움직이는 능력과 외부 힘에 잘 순응하는 능력이 동시에 요구되는 셈이다.
국내 인공지능(AI) 기반 서비스 로봇 기술 업체 엑스와이지가 상체형 양팔 휴머노이드 로봇(Humanoid Robot) ‘듀스(DEUX)’의 현장 검증을 본격화하고 있다.
듀스 개발진은 걸레질이나 컵 파지 같은 접촉 작업에 임피던스 제어(Impedance Control)를 적용해 외력에 유연하게 반응하도록 하고 있다. 작업별 적정 파지력을 찾는 과정도 병행 중이다.
쉽게 말해, 사람이 누군가와 부딪힐 때 순간적으로 힘을 빼는 것과 비슷한 원리다. 듀스 역시 접촉 과정에서 들어오는 힘의 크기·방향에 맞춰 팔의 움직임을 조절한다. 걸레질 등 표면을 따라 힘을 유지해야 하는 작업에서는 지나치게 세게 누르지 않도록 하고, 컵처럼 변형되거나 미끄러질 수 있는 물체를 집을 때는 필요한 만큼의 파지력만 가하는 식이다.
서원호 연구원은 현재 작업 종류에 따라 적절한 힘의 범위를 찾고, 이를 실제 서비스 동작에 적용하는 작업을 진행 중이라고 설명했다. 실제로 듀스는 물건을 집어 폐기하고, 의자를 정리하고, 컵과 제품을 옮기는 작업부터 현장 데이터를 쌓는 단계다.
▲ 듀스가 실생활에서의 활동을 위해 다각적인 경험을 축적하고 있다. (촬영·편집 : 헬로티 최재규 기자)
동시에 사용자가 원격 조작(Teleoperation)으로 로봇을 움직이며 작업 데이터를 수집하고, 다섯 개 카메라 입력을 통해 로봇이 바라보는 공간도 함께 기록한다. 사람이 아무렇지 않게 처리하는 일상의 동작을 로봇이 얼마나 반복 가능한 작업으로 바꿀 수 있는지. 그것에 대한 실전이 시작됐다.
왜 서비스 로봇은 ‘한 번 더’ 움직여야 하나...듀스가 연결하는 연속 동작
기자와 만난 듀스는 대상물을 집어 옮기는 단순 동작부터 보여줬다. 이후 기자에게 음료 컵과 빵을 건네고, 진열대 위 제품을 정리했다. 물체를 지정 위치까지 옮기는 픽앤플레이스(Pick & Place)는 로봇 조작 기술의 기본에 가깝지만, 실제 서비스 공간에서는 이것만으로 업무가 끝나지 않는다.
▲ 듀스가 기자와 만나 반가움을 전하고 있다. (촬영·편집 : 헬로티 최재규 기자)
쓰레기를 집어 폐기하는 작업부터 상황이 달라진다. 물체를 잡은 뒤 버릴 위치까지 팔을 이동시키고, 목표 지점에서 파지를 해제하는 일련의 흐름이 필요하다. 의자를 테이블 안쪽으로 밀어 넣는 또 다른 장면에서는 손으로 물체를 쥐는 동작보다 접촉 상태를 유지한 채 일정 방향으로 힘을 전달하는 능력이 중요해진다. 바닥과 의자 다리 사이 마찰, 초기 위치·각도에 따라 필요한 힘도 달라진다.
이러한 연계 동작은 수납 작업에서 더욱 잘 드러났다. 듀스는 물건을 공간 안에 넣은 뒤 작업을 끝내지 않고 문을 닫는 동작까지 이어갔다. 하나의 물체를 특정 좌표로 옮기는 데서 그치지 않고, 첫 동작이 끝난 뒤 주변 환경을 다시 조작해야 하는 과제다. 서비스 로봇의 작업 단위가 여러 행동이 이어지는 ‘단일 작업(Task)’으로 확장되는 지점이다.
걸레를 다루는 업무도 같은 맥락이다. 듀스는 걸레를 접거나 테이블 표면을 닦는 작업을 수행했다. 단단한 물체를 잡아 옮기는 작업과 달리 천은 형태가 쉽게 변하고, 닦기 동작은 로봇 손과 작업면 사이 접촉을 계속 유지해야 한다. 위치만 정확하게 따라간다고 해결되는 작업이 아니기 때문에 접촉력과 팔의 움직임을 동시에 조절해야 한다.
▲ 사람이 아무 생각 없이 하는 행동은 로봇에게 아직 과제다. 듀스는 기자와 상호작용하며 사람 중심 환경에 적응하기 위한 역량을 고도화하고 있다. 인공지능(AI)이 모니터 화면을 벗어나 실제 하드웨어를 움직이고 현실과 맞부딪히는 ‘피지컬 AI(Physical AI)’ 검증 현장이다. (촬영·편집 : 헬로티 최재규 기자)
이 같은 차이는 듀스 개발진이 실제 매장 환경을 시험 무대로 삼은 이유와도 맞닿아 있다. 정해진 위치에서 같은 물체를 반복적으로 옮기는 작업보다, 서비스 공간에서는 물체의 위치·상태가 달라지고 하나의 작업 뒤에 또 다른 동작이 이어진다.
현재 검증의 초점 역시 개별 동작을 실제 공간에서 안정적으로 수행하는 것이다. 이를 하나의 서비스 작업으로 얼마나 자연스럽게 연결할 수 있는지를 확인하는 과정이다.
‘움직임’을 데이터로 바꾸는 법, 듀스의 원격 조작 실험
기자가 가상현실(VR) 헤드셋을 쓰고 양손에 조종기를 쥐었다. 팔을 들어 올리거나 굽히고 손목 방향을 바꾸자 몇 걸음 떨어진 듀스의 양팔도 이에 맞춰 움직였다. 어깨·팔꿈치·손목 움직임은 사용자의 상지 동작을 반영하고, 손과 이동 등 일부 기능은 조종기로 제어하는 '원격 조작' 방식.
▲ 기자가 듀스 원격 조작을 위해 VR 헤드셋과 조종기를 착용하고 있다. 앞선 쓰레기 폐기와 서랍 닫기 과정도 이 장비를 활용해 수행했다. (촬영·편집 : 헬로티 최재규 기자)
서원호 연구원은 이 메커니즘에 대해, 사람의 작업 동작을 듀스의 팔 움직임으로 보다 직관적으로 옮길 수 있다는 장점이 있다고 말했다. 다만 사용자의 팔 위치와 자세를 실제 로봇 관절값으로 바꾸는 과정에는 별도의 계산이 필요하다. 개발진이 역기구학(Inverse Kinematics)과 특이점 문제를 언급한 이유가 여기에 있다.
다만 여기서 하나 명확히 해야 한다. 지금 눈앞에서 움직이는 듀스가 그 자리에서 곧바로 ‘학습’하는 것은 아니다.
현재 현장에서는 조작자가 장비를 착용한 뒤 정해진 작업을 수행하면서 영상·자세 데이터를 수집한다. 조작자가 컨트롤러로 듀스를 움직이며 대상물을 어떤 경로로 집고 옮겼는지 기록하고, 이 과정에서 확보한 영상·자세 데이터를 후속 학습에 활용하는 구조다. 실제 매장에서는 사람이 적거나 비어 있는 시간대를 골라 이 같은 데이터 수집을 진행하고 있다는 게 서원호 연구원의 설명이다.
원격 조작의 목적도 단순한 대리 조종과는 다르다. 사람이 만든 조작 데이터를 축적한다. 이후 듀스가 같은 작업을 스스로 수행하도록 학습 기반을 만드는 데 초점이 맞춰져 있다. 현재는 쓰레기 폐기, 의자 정리, 표면 닦기 등 작업별 시나리오를 정하고 실제 공간에서 데이터를 모으는 단계다.
서 연구원은 여기서 발생하는 문제를 지목했다. 사람의 움직임을 로봇 관절로 그대로 옮기는 일이 생각보다 단순하지 않다는 점. 현재 확장현실(XR) 기반 원격 조작에서는 로봇 손끝이 도달해야 할 위치를 기준으로 역기구학을 계산해 각 관절 자세를 만든다.
같은 손끝 위치에 도달하더라도 팔꿈치·손목 등 관절 자세는 달라질 수 있고, 특정 자세에서는 계산이 불안정해지는 특이점도 발생한다. 초기 제어 과정에서 움직임이 끊기는 현상이 나타난 것도 개발진이 이 방식을 계속 손보는 이유 중 하나다.
서원호 연구원은 이 한계를 설명하며 “같은 포인트여도 자세가 달라질 수 있다. 그래서 리더를 만들어 1대1로 매칭하는 착용형(Wearable) 형태를 준비하고 있다”고 언급했다. 그러면서 손끝의 위치만 보고 로봇 팔 전체 자세를 역산하는 방식에서 더 나아가, 사용자의 관절 움직임과 로봇 관절을 보다 직접적으로 대응하겠다는 접근이라는 점도 분명히 했다.
이들의 궁극적 목표는 더 좋은 데이터를 남기는 것이다. 사용자의 의도와 실제 로봇 동작 사이 간극이 작아질수록 수집 데이터 역시 사람이 수행한 작업에 가까워진다는 관점이다. 결국 원격 조작 고도화는 조작 편의성을 높이는 문제인 동시에, 듀스가 이후 어떤 행동을 배울지 결정하는 데이터 품질 문제와 맞닿아 있다. 사람이 먼저 움직이는 이유가 이것이다.
듀스의 팔을 밀어봤다...서비스 로봇에 필요한 ‘힘 빼기’
서원호 연구원은 듀스의 팔을 직접 밀어보라고 했다. 손으로 힘을 가하자 로봇 팔은 지정된 위치를 끝까지 고집하지 않고, 외력이 들어온 방향을 따라 자연스럽게 밀려났다.
“이 정도로 밀어도 괜찮은 건가요?”
▲ 다양한 외력에 반응하는 듀스. (출처 : 엑스와이지 / 촬영·편집 : 헬로티 최재규 기자)
서 연구원이 보여주려던 것도 바로 이 반응이다. 사람과 같은 공간에서 움직이는 서비스 로봇이라면 외력이 들어왔을 때 무조건 위치를 사수하는 것보다, 상황에 따라 유연하게 물러날 수 있어야 한다는 설명이다. 정확한 위치 제어만큼이나 예상하지 못한 접촉을 어떻게 받아들이느냐가 중요한 것이다.
듀스에 적용된 임피던스 제어는 이 같은 ‘순응성(Compliance)’을 구현하는 기술이다. 정해진 좌표만 따라가도록 로봇 팔을 강제로 붙잡아두는 대신, 외부에서 들어오는 힘에 맞춰 움직임을 조절한다.
걸레질에서 중요한 것은 작업이 끝날 때까지 적절한 접촉력을 유지하는 데 있다. 테이블의 높이나 마찰 상태가 조금만 달라져도 같은 궤적과 힘값을 그대로 적용하기 어렵기 때문이다.
듀스에 적용된 임피던스 제어는 이런 변화에 맞춰 팔의 반응을 조정하면서, 닦는 힘을 일정 범위 안에 유지하는 역할을 맡는다. 정해진 위치를 정확히 따라가는 것보다 접촉 상태를 깨뜨리지 않는 제어가 더 중요해지는 순간이다.
컵 파지는 이 문제를 손끝으로 확장한 사례다. 얇은 용기는 강하게 움켜쥐면 변형되고, 반대로 힘이 부족하면 이동 중 놓칠 가능성이 커진다. 결국 듀스에 필요한 것은 대상·작업에 맞춰 힘을 달리 쓰는 능력이라는 게 서 연구원의 대답이다.
개발진이 컵·걸레 등 작업별 적정 힘을 따로 찾는 이유가 이 때문이다. 사람 손이 무의식적으로 해내는 힘 조절을 로봇에서는 하나의 제어 변수로 다시 만들어야 한다는 관점이다.
Q. 그렇다면 컵과 걸레처럼 대상물이 달라질 때마다 힘의 설정도 바뀌어야 하는지.
A. 지금은 입력된 값만큼의 힘을 내는 방식입니다. 컵을 잡을 때와 걸레질할 때 필요한 힘이 다르기 때문에 작업에 맞는 적정값을 계속 찾고 있습니다. 현재는 기본값을 정해서 사용하고 있지만, 앞으로는 촉각(Tactile) 센서에서 들어오는 감지 정보를 받아 접촉 상태에 따라 힘을 바꿀 수 있도록 고도화할 계획입니다.
서 연구원에 따르면, 듀스 손에서 사용하는 힘은 현재 최대 약 5뉴턴(N) 수준이다. 하나의 고정값을 모든 작업에 적용하기보다 실제 동작을 반복하며 파지와 접촉에 필요한 범위를 좁혀가고 있다.
팔과 손의 힘을 확인하고 나니 자연스럽게 다음 궁금증이 생겼다. 그렇다면 듀스는 작업해야 할 대상을 어디까지 스스로 찾아낼 수 있을까.
모니터에는 듀스가 사용하는 카메라 영상이 펼쳐져 있었다. 원격 조작 과정에서 로봇의 자세만 남기는 것이 아닌, 당시 뭘 보고 있었는지까지 함께 저장하기 위한 시각 입력 화면이다. 여기에는 작업 공간 전체를 바라보는 시야부터 손 주변을 가까이 잡은 영상까지 한꺼번에 들어왔다. 개발진도 데이터 수집 과정에서 이들 다섯 개 카메라 영상을 함께 확인한다고 했다.
이어 기자가 “카메라가 다섯 개면 바닥에 이물질이 떨어진 것도 듀스가 알아서 찾아 닦을 수 있는 건가요?”라고 묻자, 서 연구원은 선을 그었다. 그는 “닦는 동작 자체는 가능하다. 다만 듀스가 이물질을 보고 스스로 청소까지 이어가려면 그 과정에 대한 데이터를 더 수집해야 한다”고 말했다.
여기에는 ‘본다’와 ‘행동한다’ 사이의 간극이 있다. 카메라 영상에 물체가 들어오는 것과, 그것을 청소가 필요한 대상으로 해석해 다음 행동을 결정하는 것은 별개의 문제다. 실제로 다른 시스템에서는 카메라 기반 비전(Vision)으로 이물질을 감지한 뒤 해당 위치를 피해 작업하도록 구현하고 있다. 그렇지만 듀스가 이를 발견해 직접 닦는 흐름까지 연결하려면 별도의 행동 데이터가 필요하다는 설명이다.
때문에 다섯 개 카메라가 남기는 정보도 단순한 ‘영상 기록’으로 볼 수 없다. 조종기로 컵을 집었다면 손이 어떤 궤적으로 움직였는지만큼이나, 당시 컵이 어디에 있었고 어떤 방향에서 접근했는지가 함께 남아야 이후 학습 재료가 된다. 사람이 원격 조작으로 ‘무엇을 했는지’를 만들고, 카메라는 ‘어떤 상황에서 그 행동이 나왔는지’를 붙이는 구조다.
현재 듀스의 시야는 완성된 자율성을 보여주는 눈이라기보다, 그 자율성을 만들기 위한 데이터 수집 창구 역할을 맡는다.
▲ 엑스와이지가 그리는 다음 그림은 듀스가 자회사 로봇 카페 ‘라운지엑스(LoungeX)’를 출발점으로 삼아, 음료를 직접 고객에게 전달하는 서비스까지 맡는 것이다. (촬영·편집 : 헬로티 최재규 기자)
황성재 대표는 본지와의 지난 인터뷰에서 “매장에서도 정해진 작업 시나리오를 기준으로, 사람이 적거나 비어 있는 시간대를 골라 데이터를 축적하고 있다”며 “사람이 있는 상황에서 무리하게 수집하기보다 통제 가능한 조건부터 하나씩 늘려가는 방식”이라고 관련 방법론을 언급한 바 있다.
모니터 속 다섯 개 화면에는 이미 매장 곳곳이 들어오고 있다. 엑스와이지의 다음 숙제는 그 화면 속 휴지 한 장을 단순한 ‘픽셀’이 아니라, 지금 치워야 할 ‘일’로 바꾸는 것.
헬로티 최재규 기자 |
