"휴머노이드 로봇 학습, '텔레오퍼레이션 함정' 벗어나야"

▲플렉시온은 완전 자율 휴머노이드 로봇을 개발하고 있다. (사진=플렉시온)

사람을 대신해 일할 휴머노이드 로봇이 사람 없이는 학습할 수 없는 ‘텔레오퍼레이션(원격 조작) 함정’에 빠질 수 있다는 우려가 제기됐다.

​

휴머노이드 AI 스타트업 '플렉시온(Flexion)' 공동창업자 겸 CEO인 니키타 루딘(Nikita Rudin)은 최근 미국 로봇 전문매체 ‘더로봇리포트’에 기고한 칼럼(제목:How to avoid the teleoperation trap in robotics development)에서 "휴머노이드 산업은 노동력 부족을 해결하겠다고 말하지만 실제로는 사람을 고용해 로봇을 원격으로 조종하고, 데이터를 생산하는 구조에 의존하고 있다"며 '텔레오퍼레이션 함정(Teleoperation Trap)'을 경계해야 한다고 주장했다.

​

루딘 CEO는 최근 1~2년 사이 휴머노이드 기업들이 수십억 달러의 투자를 유치했지만, 상당한 투자 자금이 원격조종 작업자를 확보하고 인간의 작업 시연 데이터를 수집하는 데 사용되고 있다고 지적했다. "로봇 업계는 이를 AI 학습을 위한 데이터 확보 전략으로 설명하고 있지만, 결국 사람의 노동력을 새로운 형태로 활용하는 구조가 되고 있다"고 진단했다.

​

그는 텔레오퍼레이션이 초기 학습에는 효과적이지만 구조적인 한계를 갖고 있다고 분석했다. 대규모언어모델(LLM)은 수십 년간 축적된 방대한 텍스트 데이터를 기반으로 학습할 수 있지만 로봇은 사람이 직접 수행한 작업 시연 외에는 학습 데이터가 존재하지 않는 상황이다. 결국 데이터는 인간 작업자가 생산하는 속도만큼만 늘어날 수밖에 없다는 것이다. 그는 현재 텔레오퍼레이션 데이터 규모는 최신 언어모델과 비전 AI 모델의 학습 데이터보다 10만분의 1 이상으로 적다고 말했다. 게다가 현실 환경이 계속 변하면서 새로운 시연 데이터가 필요해지기 때문에 사람을 계속 늘려야 한다는 한계를 노출하고 있다는 설명이다.

​

루딘 CEO는 데이터 품질 문제도 지적했다. 원격 조종 작업자는 촉감을 느끼지 못하고 거리감을 정확히 판단하기 어려워 동작이 느리고 수정이 많아진다. 결국 로봇은 숙련된 작업이 아니라 조작자가 시행착오를 겪는 모습까지 그대로 학습하게 된다는 것이다.

​

그는 최근 중국, 인도, 유럽, 미국 등에서 원격조종 데이터를 전문적으로 생산·판매하는 기업들이 빠르게 증가하고 있다는 점도 언급했다. 가사 작업을 촬영하거나 로봇을 원격 조종하고, 카메라를 착용한 채 작업 현장을 이동하며 데이터를 생산하는 새로운 산업 생태계가 형성되고 있다는 것이다.

​

루딘 CEO는 '강화학습(Reinforcement Learning)'과 '대규모 시뮬레이션 기반 학습'을 대안으로 제시했다. 강화학습은 사람이 수행한 동작을 단순히 모방하는 것이 아니라 로봇이 스스로 시행착오를 반복하며 해결 방법을 찾는 방식이다. 여기에 시뮬레이션을 결합하면 실제 하드웨어를 손상시키지 않고도 수백만 번의 반복 학습을 수행할 수 있으며, 인간이 생산할 수 없는 규모의 다양한 데이터를 생성할 수 있다는 설명이다. 그는 "텔레오퍼레이션은 컴퓨팅 성능이 아니라 사람 수에 의해 확장성이 제한되지만, 시뮬레이션 기반 강화학습은 GPU를 추가할수록 더 많은 환경과 다양한 상황을 동시에 학습시킬 수 있다"고 강조했다.

​

또 최근 업계에서 활용되는 '작업자 시점 영상(Egocentric Video)'이나 범용 조작 인터페이스(UMI, Universal Manipulation Interface)와 같은 기술은 기존 텔레오퍼레이션보다 자연스러운 데이터를 생성할 수 있지만, 여전히 인간이 개입해야 한다는 점에서 근본적인 해결책은 아니라고 평가했다.

​

그는 "인간 의존도가 시간이 지날수록 실제로 감소하고 있다는 것을 입증하지 못한다면 텔레오퍼레이션은 임시방편이 아니라 영구적인 개발 방식이 될 것"이라고 경고했다. 또 "텔레오퍼레이션은 자율 로봇 개발의 출발점일 수는 있지만 최종 목적지가 되어선 안 된다"며"휴머노이드 산업의 경쟁력은 얼마나 많은 시연 데이터를 모았느냐가 아니라, 인간의 도움 없이 새로운 환경에서 스스로 학습하고 일반화할 수 있는 AI를 구현하느냐에 달려 있다"고 강조했다.

​

◇ 니키타 루딘은

​

휴머노이드 AI 스타트업 플렉시온(Flexion)의 공동창업자이자 최고경영자(CEO)다. 그는 엔비디아 재직 당시 스위스 취리히연방공과대학(ETH Zurich) 로봇 시스템 연구실에서 박사학위를 받았다. 강화학습, 로봇 제어, 로봇 시뮬레이션을 연구했다. 엔비디아에서 '아이작 짐(Isaac Gym)'과 '아이작 랩(Isaac Lab)' 개발에 참여했으며, 현재는 휴머노이드의 범용 AI '브레인' 개발을 목표로 플렉시온을 이끌고 있다. 플렉시온은 최근 DST글로벌과 엔비디아의 벤처 투자 조직인 엔벤처스(NVentures)로부터 5000만달러의 투자 유치에 성공했다.

 

장길수 기자 ksjang@irobotnews.com

저작권자 © 로봇신문 무단전재 및 재배포 금지