가상 환경 속 공장 안에 컨베이어벨트와 생산 설비가 들어선다. 외형은 실제 제조 라인과 같지만, 내부 설비는 현실과 같이 가동되지 않는다. 벨트는 돌지 않고 덮개는 열리지 않는 식. 기존 3차원(3D) 컴퓨터지원설계(CAD) 파일이 시뮬레이션 환경으로 옮겨지는 과정에서 다양한 구조와 물리 속성이 빠진 결과다. 이렇게 형상만 남은 설비 앞에서 로봇의 조작 학습도 멈춘다.
모니터 화면에서 벗어나 실제 하드웨어를 구동하는 '피지컬 AI(Physical AI)' 생태계가 데이터 인프라로 확장되는 배경이다. 현시점 로봇 학습은 사람이 직접 동작을 가르치는 원격 조작(Teleoperation)에 상당 부분 의존하는 것으로 분석된다.
특정 물병을 여는 동작을 습득한 로봇도 사전에 학습되지 않은 크기·형상의 대상물 앞에서는 같은 행동을 안정적으로 재현하지 못한다. 업계는 이를 지적하고 있다. 현실 환경에 있는 객체와 예외 상황을 사람이 일일이 수집하는 방식에는 시간·비용·안전의 한계가 붙기 때문이다.
이에 대한 대안으로 현실과 유사한 가상 공간에서 반복 학습을 수행하는 방식이 제시되고 있다. 문제는 이 공간을 채울 ‘산업용 3D 데이터’가 부족하다는 것이다. 공개 데이터는 의자·사과 등 일상 객체에 집중돼 있다.
때문에 반도체 설비, 컨베이어, 팔레트, 폴딩 박스 등 제조·물류 현장의 자산(Asset)은 각 기업 보안망 안에 머물러 있다. 기업이 이미 보유한 CAD 파일도 시뮬레이션으로 넘어가면 부품 결합 관계와 관절 가동 범위, 질량, 마찰력, 충돌 등 정보가 누락되기 쉽다는 뜻이다.
3D 데이터 인프라 업체 엔닷라이트는 이 두 겹의 병목을 겨냥한다. 자체 CAD 엔진을 바탕으로 문자(Text)·이미지(Image)에서 새로운 3D 데이터를 만들어내는 동시에, 업체가 가진 기존 설계 자산을 '시뮬레이션 준비형 데이터(SimReady Data)'로 바꾼다. 쉽게 말해 없는 3D 데이터는 새로 생성하고, 가진 CAD 파일에는 관절 구조와 물리 특성을 입히는 방식이다. 이를 가상 공간에서 곧바로 구동하도록 만드는 메커니즘이다.
박진영 엔닷라이트 대표는 피지컬 AI와 로보틱스 시대를 위한 3D 데이터 기반을 만들고 있다고 말했다. CAD 기반 설계 자동화에서 출발한 자체 기술을 디지털 트윈(Digital Twin)과 로봇 학습·검증으로 확장하겠다는 포부다. 로봇이 대상물을 만지고 움직일 수 있는 데이터의 초석과 생성·변환·평가를 연결한 그들만의 전략은 뭘까?
관건은 자율 동작 학습용 자산, 설계 데이터가 맞이한 ‘유의미한’ 역할 변화
그동안 회사는 누구나 쉽게 활용 가능한 CAD 소프트웨어를 목표로 자체 3D CAD 엔진을 개발해 왔다. 특히 점·선·면을 연결해 입체 형상을 만드는 기하구조(Geometry)를 직접 처리하는 기반 기술을 고도화했다. 이들의 기본 철학은 시장 포화 상태인 완성형 CAD 제품과의 경쟁보다, 소프트웨어 기반 엔진부터 독자 구축하는 것이었다.
이 같은 기술 자산의 쓰임새는 생성형 AI(Generative AI)의 확산과 함께 달라졌다. 자체 CAD 엔진에 거대언어모델(LLM)을 연결하자 사용자가 입력한 문장을 분석해 3D 형상으로 구현하는 설계 자동화 구조가 열렸다. 만들고 싶은 제품의 형태·치수·구성을 문자로 전달하면, AI 모델이 의도를 해석하고 CAD 엔진이 이를 실제 설계 데이터로 변환하는 방법이다.
박진영 대표는 “처음에는 제품·건축물 설계를 자동화하는 용도로 기술을 개발했다”며 “피지컬 AI 시대가 개막하면서 CAD 파일이 로봇 학습용 시뮬레이션이라는 새로운 용처를 찾게 됐다”고 설명했다. 설계 결과물을 만드는 데 사용되던 CAD가 로봇·설비·기계 등 현실 인프라를 이해하는 학습 자산으로 의미를 확장한 것이다.
제품을 만들기 위한 설계 데이터였던 CAD가
이제 로봇이 현실을 배우는 학습 자산으로 확장되는 모양새입니다.
설계 자동화에서 로봇 시뮬레이션으로 데이터의 쓰임새가 바뀌는 지점입니다.
다만 쓰임새가 확장되는 과정에서 기존 CAD 데이터의 한계도 드러났다. 박 대표는 사용자 화면(UI) 속 CAD 소프트웨어에서 움직이던 설비가 시뮬레이션 환경으로 넘어가는 순간 정지한다고 지적했다. 부품 외형은 그대로였지만 관절과 연결 구조가 사라졌다는 것인데. 실제로 대표가 기자에게 보여준 화면도 접고 펼 수 있던 폴더블 스마트폰이 고정된 하나의 형상으로 바뀌는 모습이다.
로봇이 이러한 폴더블폰을 직접 다루려면 외형 이상의 정보가 필요하다. 관절의 가동 방향과 작동에 필요한 적정 힘, 파손을 방지하기 위한 이동 제한 범위에 관한 데이터다. 컨베이어벨트도 같은 구조다. 벨트의 형상만 가상 공간에 옮겨서는 로봇이 이동 중인 물체를 집고 내려놓는 동작을 학습할 수 없다는 것이 현실적 한계다.
문제는 파일 형식만을 변환해서는 이러한 병목을 극복하기 힘들다는 것이다. 박진영 대표는 제조 업체가 보유한 CAD 데이터에는 설비 구조와 물성 정보가 포함되지만, 이를 로봇 시뮬레이터로 옮기는 과정에서 상당 부분이 누락된다는 부분에 주목했다.
반대로 외부에서 새 데이터를 확보하려 해도 공개된 3D 자산은 의자·사과·동물 등 일상 객체에 집중돼 있다. 공장 안에 들어가는 생산 설비와 물류 장비는 조직의 핵심 보안 자산이라 공개 자료를 찾기 어렵다.
박 대표는 “국내 피지컬 AI의 첫 적용처는 가정보다 제조 공장이 될 것”이라고 내다보면서 “결국 로봇이 학습해야 할 공간도 일반 집이 아니라 공장이 될 텐데, 가장 먼저 필요한 데이터 역시 공장 설비와 산업용 객체”라고 진단했다. 그러면서 “범용 3D 데이터의 양이 늘어도 실제 제조 시뮬레이션에 필요한 자산의 공백은 그대로 남는다”는 지적을 이었다.
이 같은 데이터 공백은 시뮬레이션 플랫폼의 성능만으로 해결되지 않는다. 각종 시뮬레이션 및 디지털 트윈 플랫폼이 가상 환경과 로봇 학습 기반을 제공해도 그 안에 넣을 설비·객체가 없다면 학습을 시작할 수 없다는 시각이다. 박 대표가 “시뮬레이션 환경을 구축하는 데 가장 먼저 선행돼야 할 작업은 공간을 채울 3D 자산을 확보하는 일”이라고 강조한 배경이다.
가상 공장에 설비의 형상만 옮겨놓는다고 로봇의 학습환경이 완성되는 것은 아니죠.
가동 구조까지 데이터로 살아 있어야 합니다.
시장도 이 문제를 별도의 기술 영역으로 받아들이기 시작했다. 박 대표는 최근 두 차례 참석한 글로벌 컴퓨팅 기술 업체 엔비디아(NVIDIA) 주관 행사의 분위기 변화를 근거로 들었다.
지난해 열린 엔비디아 개발자 콘퍼런스 ‘GTC(GPU Technology Conference)’ 행사에서는 가상준비형 데이터를 내세운 기업이 많지 않았지만, 올해 GTC는 다수 기업이 피지컬 AI를 위한 가상준비 데이터 문제를 해결하기 위해 속속 등장했다는 후문이다.
그는 “미국에서는 여러 기업이 가상준비형 데이터 시장에 뛰어들고 있지만, 국내에서는 아직 개념 자체의 인지도가 높지 않은 것으로 보인다”며 “글로벌 로봇·시뮬레이션 업계에서는 이미 데이터 전처리 문제가 공통 과제로 자리 잡았다”고 분석했다.
이 가운데 엔닷라이트가 내놓은 해법은 인공지능(AI) 기반 3D CAD 솔루션 ‘트리닉스(TRINIX)’다. 외부에서 구할 수 없는 데이터는 새로 생성하고, 기업 내부에 축적된 CAD 파일은 관절 구조와 물리 속성을 유지한 채 가상준비형 데이터로 전환하는 기법을 채택했다. 설계 파일의 형상을 로봇이 만지고 움직일 수 있는 학습 자산으로 바꾸는 작업이 핵심이다.
로봇이 실제 행동을 익히기까지
트리닉스의 첫 번째 접근법은 세상에 없는 설계 데이터를 새로 만드는 것이다. 사용자가 구현하려는 제품을 문자로 설명하거나 참고 이미지를 입력하면, AI 모델이 대상물의 형태와 부품 구성을 분석한 뒤 CAD 엔진을 통해 3D 설계 데이터로 구현한다.
사측이 공개한 스마트폰 설계 과정에서는 카메라 이미지, 렌즈 위치, 플래시 배치, 모듈 크기 등을 입력하자 새로운 제품 형상이 만들어졌다. 카메라 개수를 세 개에서 두 개로 줄이고 모서리 곡률을 조정하는 후속 작업도 자연어(Natural Language) 명령으로 진행됐다.
▲ 기존 CAD 모델의 부품 구조를 확인한 뒤, 트리닉스로 데이터를 변환하고, 이를 엔비디아(NVIDIA) 디지털 트윈 환경에 적용하는 과정. 엔닷라이트는 설계 자산의 구조와 메타데이터를 유지해, 로봇 시뮬레이션에 활용 가능한 가상준비형 데이터로 전환한다. (출처 : 엔닷라이트, 편집 : 헬로티 최재규 기자)
박진영 대표는 “사용자가 CAD를 다룰 줄 몰라도 높이를 낮추거나 카메라 개수를 바꿔 달라고 지시하면 해당 부분만 수정할 수 있다”며 “문자로 표현하기 힘든 복잡한 형상은 자체 CAD 편집기나 기존 설계 도구에서 직접 손볼 수 있다”고 구조에 대한 이해를 도왔다.
시중 상당수 생성형 3D 솔루션은 작은 다각형을 이어 표면을 표현하는 폴리곤 메시(Polygon Mesh)를 기반으로 한다. 시각 콘텐츠 제작에는 적합하지만 내부 치수와 부품 구조가 분명하지 않아 산업 설계에 곧바로 활용하기 어렵다는 게 박 대표의 설명이다.
반대로 트리닉스는 자체 CAD 엔진을 기반으로 치수, 곡면, 부품 단위를 유지한 데이터를 생성한다. 자연어가 설계 입구를 열고 CAD 엔진·편집기가 산업 현장에 필요한 정확도를 보완한다.
Q. 기업이 이미 보유한 CAD 파일은 왜 시뮬레이션에서 그대로 사용할 수 없는지.
기존 CAD 파일에는 제품과 설비의 형상뿐 아니라 부품 구조와 움직임에 관한 정보도 들어 있습니다. 문제는 이를 로봇과 같은 기계 시뮬레이터로 옮기는 과정에서 상당한 정보가 누락된다는 점입니다. 외형은 전달되지만 부품의 연결 관계와 관절 방향, 힘과 마찰력 등의 정보는 사라지는 경우가 많습니다. 시뮬레이션에는 대상물의 외형을 표현하는 시각 메시(Visual Mesh)와 물리적 접촉을 계산하는 충돌 메시(Collision Mesh)가 모두 필요합니다. 여기에 관절 종류, 가동 범위, 질량, 마찰력 등이 더해져야 기계가 대상물을 인식하는 데서 끝나지 않고 직접 잡고 밀고 접는 동작을 학습할 수 있습니다.
Q. 시판 CAD 솔루션과 비교한 자사 경쟁 지점은?
대형 CAD 기업이 기술·자본이 부족한 것은 아니라고 봅니다. 다만 각 기업은 자사 생태계를 중심으로 움직일 수밖에 없습니다. 때문에 한 사업자가 경쟁사의 CAD 파일까지 모두 책임지고 변환하거나 다른 생태계를 함께 지원하기는 쉽지 않습니다. 실제 제조 공장에는 다양한 공급사가 제작한 설비가 들어오기 때문에 여러 형식의 CAD 파일이 함께 쌓입니다. 우리는 특정 CAD 생태계에 한정되지 않고 이 파일들을 중간에서 받아 하나의 시뮬레이션 환경으로 연결하는 역할을 맡습니다.
Q. 문자 기반 CAD 생성 기능을 범용 공개 서비스가 아닌, 기업 맞춤형 솔루션으로 제공하는 이유가 알고 싶다.
A. CAD 데이터는 제조 기업의 중요한 보안 자산입니다. 같은 제품을 만들더라도 회사마다 사용하는 용어와 설계 순서, 부품을 통합하는 방식이 다릅니다. 범용 모델 하나로 모든 조직에 같은 결과를 제공하기 어려운 이유입니다. 고객사가 축적한 설계 데이터와 내부 용어를 반영해야 실제로 사용할 수 있는 결과가 나옵니다. 고객사 내부망에 전용 모델을 구축하고 그 안에서 데이터 생성과 변환을 수행하는 온프레미스(On-Premises) 방식에 집중하는 것이 우리 방식입니다. 사용할수록 기업별 데이터와 작업 방식이 쌓여 전용 워크플로도 함께 정교해진다고 믿습니다.
Q. 제조 업체와 로봇 제조사가 요구하는 데이터는 어떻게 다른지?
A. 제조 업체는 로봇이 학습할 공장 전체의 시뮬레이션 환경을 구축하려는 수요가 강합니다. 핵심 설비 데이터를 외부에 모두 공개하는 대신 내부에 가상 공장을 만들고, 로봇 공급사가 해당 환경에서 자사 기체를 학습·검증하도록 하는 형태입니다. 그래서 우리가 온프레미스 기반 솔루션을 지향하는 것입니다. 반면 로봇 제조사는 특정 작업과 객체에 집중합니다. 예컨대 폴딩 박스를 접거나 팔레트에 물체를 넣는 동작을 학습시키기 위해 형태가 비슷하면서도 조금씩 다른 대량의 객체 데이터를 요구합니다. 제조 업체가 공간 전체를 필요로 한다면, 로봇 제조사는 하나의 작업을 위한 수많은 변형 데이터를 필요로 하는 것으로 정리할 수 있겠네요.
이러한 수요는 트리닉스의 실제 적용 사례로 이어졌다. 엔닷라이트는 하나의 폴딩 박스 이미지와 설명을 바탕으로 구조·크기·색상·재질이 다른 3D CAD 모델을 생성했다. 기본 형상을 다시 설계하지 않고 속성값을 조정해 로봇이 학습할 객체의 범위를 확장한 것이다.
각 모델에는 화면에 보이는 시각 메시와 접촉·충돌을 계산하는 충돌 메시가 별도로 적용됐다. 여기에 관절·물리 속성을 더하면 고정된 3D 형상은 가상 환경 플랫폼에서 실제처럼 접히고 움직이며 로봇과 상호작용하는 학습 자산으로 전환된다.
이러한 접근법에 대해 박 대표는 “여러 유형을 가상 공간에서 학습시키면 로봇이 처음 보는 팔레트나 박스를 만나도 같은 객체군으로 인식할 가능성을 높일 수 있다”고 말했다.
트리닉스의 활용 범위는 3D 객체에서 로봇 시각 학습 데이터로도 이어진다. 문자·이미지로 생성한 CAD를 ‘옴니버스(Omniverse)’, ‘아이작 심(Isaac Sim)’ 등 엔비디아의 가상 협업 및 시뮬레이션 플랫폼에 배치한다. 이후 물리 법칙 기반 로보틱스 월드 모델(World Model) ‘엔비디아 코스모스(NVIDIA Cosmos)’를 통해 깊이·윤곽·영역분할 정보를 추출하는 방식이다.
쉽게 말해, 가상 환경에 놓인 3D 객체를 여러 조건에서 촬영하고 대상물까지의 거리, 외곽선, 객체별 구역을 정답표처럼 함께 생성하는 과정이다. 로봇은 이 데이터를 반복 학습해 물체의 위치, 형태, 주변 환경과의 경계를 구분하는 시각 인식 능력을 확보한다.
이렇게 생성된 자료는 시각·언어·행동(VLA) 모델, 모방 학습(Imitation Learning), 강화 학습(Reinforcement Learning) 등 로봇이 객체를 인식·판단한 뒤 실제 동작으로 연결하는 과정 전반에 활용된다. 설계 자동화로 대상물을 구현하고 디지털 트윈으로 가상 환경을 조성한 뒤, 그 안에서 조작 데이터를 확보하는 메커니즘이다.
가상에서 익힌 동작이 실전서 통할까? 피지컬 AI 생태계 기반 다지기
가상준비형 데이터를 확보했다고 로봇 학습이 끝나는 것은 아니다. 로봇이 가상 공간에서 익힌 동작을 현실에서도 같은 결과로 이어지는지 확인하는 검증 단계가 남는다. 박진영 대표는 이러한 시장 변화를 사용자 질문에서 체감했다고 말했다.
실제로 초기에는 피지컬 AI 학습에 사용할 데이터 자체가 부족해 일단 데이터를 만들어 달라는 요구가 대부분이었다는 경험을 푼 것이다. 그런데 최근에는 생성 데이터의 품질을 어떤 기준으로 평가하고, 현실 적용성을 어떻게 증명할 것인지 묻는 사용자가 늘었다.
박 대표는 “예전에는 대기업에서도 데이터부터 달라는 요청이 많았다”며 “최근에는 이 데이터를 어떻게 평가할 것이냐는 질문이 먼저 나온다. 시장이 데이터 확보에서 품질 검증 단계로 이동하고 있다는 의미”라고 분석했다.
서랍을 여는 동작은 이러한 평가 구조를 보여주는 사례다. 가상 환경에서는 일정한 힘을 가해야 서랍이 열리도록 물성값을 설정했지만, 실제 서랍은 이보다 작은 힘으로 부드럽게 움직일 수 있다. 해당 데이터로 학습한 로봇은 현실에서도 필요 이상의 힘을 가할 가능성이 있다.
엔닷라이트는 가상 환경에서 설정한 힘, 마찰력, 관절 범위를 실제 측정 결과와 비교한다. 차이가 확인되면 물성값을 조정해 가상준비형 데이터를 재생성하고 같은 동작을 다시 검증한다. 가상 결과와 실제 동작 사이의 ‘시뮬레이션·실환경 간 격차(Sim2Real Gap)’를 줄이는 반복 과정이다.
이 과정에서 기준에 미달한 데이터도 곧바로 폐기하지 않는다. 우선순위가 높은 객체부터 시뮬레이션에 적용한 뒤 현실과의 차이를 확인하고 관절·물성 정보를 반복 보정한다. 탈락 데이터를 골라내는 방식보다 실제로 사용할 수 있는 수준까지 되돌려 고도화하는 접근이다.
데이터 생성은 출발점에 불과해요.
가상에서 익힌 동작이 현실에서도 유지되는지 평가하고,
그 차이를 다시 데이터에 반영하는 순환 구조가 중요한 것이죠.
박 대표는 업계가 공유할 평가 기준이 아직 확립되지 않았다는 점을 문제로 꼽았다. 가상 환경의 동작이 현실과 80% 일치해야 유효한지, 95%까지 도달해야 현장에 투입 가능한지 판단할 공통 기준이 없다는 우려다. 그러면서 이러한 평가 필요성에는 공감대가 형성됐지만 유효 정확도와 측정 방법은 이제 만들어지는 단계라는 분석을 덧붙였다.
박 대표는 “정부 과제나 투자 검토 과정에서 정확도 목표를 요구받지만 몇 퍼센트가 좋은 기준인지 아무도 명확하게 말하기 어렵다”며 “평가해야 한다는 사실은 알고 있어도 어떤 수치부터 산업적으로 의미가 있는지는 직접 검증하며 찾아가야 한다”고 제언했다.
엔닷라이트는 제조 업체, 로봇 제조사, 연구기관, 시뮬레이션 플랫폼 업체 등과 실증(Pilot)을 실시하며, 가상준비형 데이터의 생성·적용·평가 기준을 함께 정립하는 전략을 택했다. ▲데이터 생성 품질 ▲시뮬레이션 적용성 ▲가상·현실 전이(Sim2Real) 결과 등을 현장에서 검증하면서 기술·시장 적합성을 동시에 높이는 방식이라는 주장이다.
아직 정답이 없는 시장에서는 먼저 반복하고 검증한 방식이 기준이 되는데요.
데이터 형식과 평가 절차를 둘러싼 경쟁도 피지컬 AI의 표준 선점전이 되지 않을까요.
박 대표는 초기 실증 과정에서 정립한 형식·절차·방식이 향후 산업 표준으로 이어질 가능성에 주목했다. 국내 제조 현장은 가상준비형 데이터의 실제 효용을 검증할 수 있는 초기 무대라는 관점에서다. 글로벌 수준의 제조 업체, 다양한 공장 설비, 로봇 도입 수요가 공존하는 환경이기 때문이다.
그는 “항상 같은 방식으로 국내 제조 생태계와 협업했을 뿐인데, 해외 현장에서 우리를 알아보는 관계자가 크게 늘었다”며 “한국 제조기업과 사례를 잘 쌓는 것이 글로벌 시장으로 나가는 가장 현실적인 경로라는 판단이 분명해졌다”고 우리 제조업이 축적한 현장 경험과 글로벌 영향력을 해외 진출의 발판으로 지목했다.
한편 국내 기업의 데이터 수요는 공장·물류 현장에 집중된다. 이 가운데 로봇이 각 제조 현장에서 먼저 마주할 객체가 중심이다. 휴머노이드 로봇(Humanoid Robot) 역시 초기에는 공장에 투입해 인력 공백과 반복 작업을 보완하려는 개념검증(PoC)이 활발하다는 게 박 대표의 분석이다.
반대로 박 대표가 미국에서 접한 글로벌 로봇 제조사들의 방향성은 사뭇 달랐다. 그에 따르면, 이들은 제조 공장이 아닌 가정용 휴머노이드 시장을 직격하고 있었다. 자연스럽게 요구 데이터도 냉장고·세탁기·가구 등 가정 내부의 생활 객체에 집중됐다.
하지만 박진영 대표는 이러한 가정용 휴머노이드는 특정 단일 동작만으로 상품 가치를 입증하기 어렵다고 의견을 피력했다. 설거지·청소·빨래 등 복합 과제를 수행하려면 집 안에 있는 무수한 공산품의 형상·구조·메커니즘을 종합적으로 이해해야 한다고 주장했다. 엔닷라이트가 제품 설계 자동화 노하우를 장기적인 로봇 학습 데이터 경쟁력으로 확신하는 배경이다.
대표는 “해외 시장은 고정된 완성형 데이터 패키지 대신, 필요한 객체를 직접 생성·변환할 수 있는 API(Application Programming Interface)를 원했다”고 경험담을 전했다. 그러면서 “현재 해외 로봇 제조사와 API 공급 계약을 논의 중”이라며 “고객사가 문자·이미지를 입력해 목적별 3D 변형 데이터를 자체 생성하고 학습에 바로 투입하는 구조를 어필하고 있다”고 덧붙였다.
이 같은 현장 반응은 엔닷라이트의 시장 개척 일정표도 앞당겼다. 사측은 로봇 데이터 사업에서 본격적인 매출이 발생하기까지 약 3년이 걸릴 것으로 내다봤으나, 미국 가정용 로봇 시장의 폭발적인 API 수요를 확인한 후 시장 개막 시점을 대폭 수정했다. 향후 2~3년을 시장 주도권이 갈리는 골든타임으로 보고, 통합 데이터 순환 구조를 앞세워 글로벌 피지컬 AI 인프라 기업으로 도약한다는 전략을 밝혔다.
로봇·AI가 일상화될 미래,
로봇이 엔닷라이트의 데이터를 먹고 자랐다는 평가를 듣고 싶어요.
헬로티 최재규 기자 |
