강화학습(RL) 알고리즘 학습하는 오픈소스 4족 로봇

▲소형 오픈소스 4족 로봇 '리얼앤트' (사진=알토대학) ​ 강화학습(RL) 알고리즘을 이용해 자신의 위치를 스스로 인식해 이동하고, 여러 가지 기본적인 동작을 학습할 수 있는 저가형 오픈소스 4족 로봇이 개발됐다.   '테크엑스플로어'에 따르면 핀란드 알토대학(Aalto University)은 로봇 전문기업인 ‘오트 로보틱스(Ote Robotics)’와 공동으로 강화학습(RL) 알고리즘을 통해 스스로 자신의 위치를 인식해 이동하고, 다양한 기본적인 동작을 학습할 수 있는 소형 오픈소스 4족 로봇 ‘리얼앤트(RealAnt)’를 개발했다고 밝혔다. 시뮬레이션 환경에서 4족 로봇의 강화학습 과정을 테스트하고 적용하는 것이 아니라 실제 로봇을 대상으로 강화학습 알고리즘을 테스트하고 적용해볼 수 있다는 게 강점이다.   연구팀은 이번 연구 성과를 발행전 논문 공개 사이트인 ‘아카이브(arXiv)’에 게재했다. 리얼앤트 로봇은 소형의 4족 로봇으로 3D프린터를 활용해 주요 구성품을 제작했다. 로보티즈의 다이나믹셀 AX-12A 스마트 액추에이어 8개와 로보티즈의 오픈CM9.04A 보드, 12볼트 5A 파워서플라이, USB, 태그 플레이트(tag plate) 등을 갖추고 있다.   일반적으로 강화학습 알고리즘을 로봇 대상으로 테스트하고 실제 적용하기 위해선 먼저 시뮬레이션 환경에서 수천시간 로봇을 대상으로 실험을 해야 한다. 과학자들은 소량의 훈련 데이터를 활용해 로봇을 학습할 수 있는 알고리즘 개발을 집중적으로 연구하고 있다. 이번에 개발된 리얼앤트를 활용하면 적은 양의 훈련 데이터를 이용해 실제 환경처럼 로봇을 대상으로 강화학습 훈련을 할 수 있다.   연구팀은 리얼앤트 제작에 410달러의 비용을 들였다. 사용자들은 한시간 안에 로봇을 조립할 수 있다. 또는 오트 로보틱스로부터 완성품을 구입할 수도 있다.   이번 연구를 주도한 오트 로보틱스의 공동 창업자인 주시 사이니오는 “강화학습의 기본적인 전제는 로봇 프로그래밍을 쉽게, 그리고 자연스럽게 하는 것”이라며 “가용한 센서의 측정, 모터 동작을 규정하고 목표를 정한 후에 강화학습 알고리즘을 플러그인 방식으로 진행할 수 있다”고 했다. 그는 이번에 개발한 리얼앤트를 활용하면 시뮬레이션 훈련과정 없이 바로 실제 환경처럼 로봇을 대상으로 강화훈련을 할 수 있으며 반복적인 제어에 따른 로봇 손상도 막을 수 있다고 설명했다.

장길수  ksjang@irobotnews.com

<저작권자 © 로봇신문사 무단전재 및 재배포금지>