英 휴머노이드, 강화학습 접근 방식 '키넷IQ 어센트' 발표

▲장기 강화학습 후 액션 프리픽스 드리프트(action prefix drift)로 인해 발생한 팔 드리프트 현상. 액션 프리픽스 드리프트는 로봇 공학에서 AI 모델이 특히 장기간의 강화 학습(RL) 훈련 과정에서 의도한 물리적 움직임에서 서서히 벗어나는 기계 학습 오류를 말한다. 이러한 오류는 누적되어 시간이 지남에 따라 로봇의 팔이나 관절이 목표에서 벗어나게 만든다. (사진=휴머노이드)

런던에 본사를 둔 로봇 기업인 휴머노이드(Humanoid)가 인간의 속도와 그 이상인 99.9%의 조작 신뢰도를 달성하도록 설계된 강화학습(RL) 접근 방식인 '키넷IQ 어센트(KinetIQ Ascend)'를 발표했다고 더로봇리포트가 최근 보도했다.

​

제러드 캐넌 휴머노이드 최고기술책임자(CTO)는 "휴머노이드 경쟁은 이제 규모의 문제가 되고 있으며, 실제 환경에서의 강화학습이 그 핵심 답변이 될 수 있다. 과거에는 몇 달 동안 수동으로 조율해야 했던 로봇들이 이제는 단 며칠 만에 인간의 시연 성능을 능가하고 있다"고 밝혔다.

​

휴머노이드는 2년 이내에 세계 1위의 산업용 범용 휴머노이드 로봇 기업이 되는 것을 목표로 휴머노이드 로봇을 제작하고 있다. 이 기업은 2024년 아르템 소콜로프가 설립했으며, 글로벌 최고 기술 기업 출신의 엔지니어, 연구원, 혁신가 250명 이상을 보유하고 있다.

​

이 회사는 런던, 보스턴, 밴쿠버, 샌디에이고에 사무소를 두고 있으며 실제 적용을 위한 상업적으로 실행 가능하고 확장 가능하며 안전한 시스템을 구축하고 있다고 밝혔다. 이 기업은 지난 5월, 자사의 HMND 로봇 생산을 확대하기 위해 독일 보쉬 및 셰플러와 제휴했다.

​

◇키넷IQ 어센트, '역량 팩토리' 지원

​

휴머노이드는 키넷IQ가 실제 배포를 위해 설계된 자사 고유의 4계층으로 구성된 AI 프레임워크라고 설명했다.

​

키넷IQ 어센트는 시행착오 학습을 통해 기존 키넷IQ 플랫폼을 기반으로 구축됐으며, 이 회사의 로봇이 직접 산업계의 작업을 향상시키도록 돕는다.

​

캐넌 CTO는 "우리의 실제 환경 강화학습 방법인 키넷IQ 어센트는 로봇 역량을 개발하는 새로운 접근 방식을 제공한다. 우리는 새로운 기술마다 데이터를 수집하고 수동으로 조율하는 데 몇 달을 소비하는 대신 기본 행동에서 시작헤 강화학습이 이를 배포 준비가 된 역량으로 정제할 수 있다. 우리는 이 과정을 '역량 팩토리(capability factory)' 구축이라고 부르며, 이는 휴머노이드 로봇이 인상적인 데모 수준에서 벗어나 산업계가 실제로 신뢰할 수 있는 도구로 이동하는 전환점이 된다"고 말했다.

​

◇휴머노이드 테스트에서 향상된 조작 능력 입증

​

휴머노이드는 물품 박스(빈)에서 부품 꺼내기, 사람에게 물품 건네기, 두 로봇 팔을 사용해 컨테이너를 들어 올리고 이동하기 등 여러 작업에서 키넷IQ 어센트를 테스트했다. 유머노이드는 이 방식이 다양한 조작 시나리오 전반에서 효과적임이 입증됐다고 주장했다.

​

로봇은 머신 피딩(machine-feeding, 재료 공급) 작업 적용시 부품 상자(빈)에서 강철 베어링 링을 집어 컨베이어 벨트 위에 놓는 작업을 수행했다. 키넷IQ 어센트는 처리량을 42% 증가시켜 로봇이 원래 학습했던 인간 시연 속도의 1.5배로 작동할 수 있게 한 것으로 전해졌다.

​

또 다른 작업은 뒤섞인 토트 상자에서 물품을 집어 사람에게 전달하는 작업이었다. 동일한 접근 방식을 적용한 결과, 처리량은 85% 증가했고 성공률은 80%에서 98%로 향상됐다. 휴머노이드 측은 조작 시나리오가 복잡해질수록 키넷IQ 어센트가 계속해서 상당한 개선을 이루어냈다고 밝혔다.

​

로봇은 두 팔을 사용하는 양손 토트 취급 작업에서 양팔을 모두 사용해 테이블에서 토트 상자를 들어 올렸다. 키넷IQ 어센트는 처리량을 두 배 이상 늘렸고, 성공률은 78%에서 99%로 상승했다. 이는 실패율이 약 20분의 1로 감소한 것을 의미하며, 이 모든 결과는 단 며칠간의 훈련만으로 이뤄졌다.

​

휴머노이드는 이러한 결과가 키넷IQ 어센트가 광범위한 실제 운영 작업에서 로봇 역량을 개발하는 새로운 길을 보여준다는 점을 증명한다고 밝혔다. 이 회사는 이 방식이 고속 단일 팔 피킹작업에서부터 복잡한 양손 취급에 이르기까지 실제 작업 방식에서 효과적임을 입증했다고 덧붙였다.

​

키넷IQ 어센트는 훈련 시간이 늘어남에 따라 로봇의 성능이 예측 가능하게 향상된다는 점도 보여주었다. 이는 더 많은 컴퓨팅 자원과 데이터가 확보될 때 대형언어모델(LLM)이 향상되는 것과 유사하다. 이 회사는 시뮬레이션 실험을 통해 관측된 이러한 확장 추세는 자사의 방법이 100%까지 신뢰도를 확장시킬 수 있음을 시사한다고 말했다.

​

이 새로운 접근 방식을 통해 두가지 사실을 추가로 알아 낼 수 있었다. 워크플로에서 가장 어려운 부분만 개선해도 전체 작업을 향상할 수 있다는 점과, 로봇이 훈련 과정에서 보지 못한 물체까지 일반화해 다룰 수 있다는 점이다.

​

휴머노이드는 최신 기술 보고서에 이같은 모든 발견을 정리했다. 해당 보고서는 훈련 인프라, 알고리즘 솔루션, 결과에 대한 심층 분석을 포함해 키넷IQ 어센트의 기반이 되는 전체 방법론을 제공한다.

 

이재구 기자 robot3@irobotnews.com

저작권자 © 로봇신문 무단전재 및 재배포 금지