MIT CSAIL, 생성형 인공지능 활용해 로봇 훈련 성공적으로 수행

 

▲ MIT CSAIL 연구팀

 

MIT 컴퓨터과학·인공지능연구소(CSAIL) 연구팀이 생성형 AI 기술을 바탕으로 가상 환경에서 로봇을 훈련시킨 후, 현실 세계에서 도전적인 과제를 성공적으로 수행했다고 MIT 테크놀로지뉴스가 12일 보도했다.

 

이 기술은 물리적인 시뮬레이터와 함께 생성형 AI 모델을 활용해 물리적 세계를 더 정확하게 미러링하는 가상 훈련장을 만들 수 있도록 지원한다. 이 방법으로 훈련받은 4족 보행 로봇은 기존 기술로 훈련받은 로봇보다 실제 환경 테스트에서 더 높은 과제 성공률을 보였다.

 

연구팀은 ‘루시드심(LucidSim)’이라는 시스템을 활용해 4족 보행로봇이 상자를 뛰어넘고, 계단을 오르내릴 수 있도록 훈련시켰다. 이 로봇은 실제 세계를 반영한 데이터를 전혀 활용하지않고도 도전적인 과제를 완벽하게 수행했다. 이번 연구는 지난달 31일 ‘아카이브(arXiv)’에 공개됐으며(논문 제목:Learning Visual Parkour from Generated Images), 지난 6일부터 9일까지 독일 뮌헨에서 열린 ‘2024 로봇 학습 컨퍼런스(CoRL)’에서도 발표됐다.

 

이번 연구는 생성형 AI가 로봇을 훈련시키는 데 상당한 도움을 줄 수 있다는 점을 잘 보여주며, 궁극적으로는 현실 세계에서 훈련을 받지않고도 완전한 가상의 세계에서 로봇을 훈련시킬 수 있는 가능성을 제시했다고 연구팀은 주장했다.

 

▲루시드심을 이용한 로봇 훈련 과정

 

루시드심은 생성형 AI 모델을 결합해 시각적 훈련 데이터(이미지)를 만들어냈다. 다양한 유형의 날씨, 조명 조건 등 로봇이 현실 세계에서 직면할 수 있는 다양한 환경에 대한 ‘기술(descriptions)’을 만들고, 수천 개의 챗GPT 프롬프트를 생성했다. 이어 3D 기하학 및 물리학 데이터를 ‘AI 생성 이미지’와 매핑하는 시스템에 입력했다. 그리고 로봇이 이동해야할 궤적을 매핑하는 짧은 동영상을 만들었다. 로봇은 이 정보를 바탕으로 이동 중에 만나는 박스나 계단의 높이, 너비, 깊이를 계산할 수 있다.

 

연구팀은 루시드심 훈련을 바탕으로 웹캠이 장착된 4족 보행 로봇에게 원뿔형 도로 표지, 축구공 찾기, 상자 위로 올라가기, 계단 오르내리기 등 여러 작업을 수행하도록 지시했다.

 

실험 결과 이 로봇은 기존 시뮬레이션 상황에서 훈련받았을 때보다 더 나은 성능을 보였다. 원뿔형 도로표지를 찾는 20번의 테스트에서 루시드심은 100%의 성공률을 보인 반면, 기존 시뮬레이션으로 훈련된 시스템에선 70%의 성공률을 보였다. 또한 루시드심에선 10번의 계단 오르기 시험을 모두 성공적으로 완료한 반면, 기존의 시스템은 성공률은 50%에 불과했다.

 

이번 연구를 수행한 MIT 필립 이솔라(Phillip Isola) 교수는 루시드심이 언어, 이미지, 물리학 모델의 결합이 아닌 정교한 생성형 비디오 모델에서 데이터를 직접 추출한다면 앞으로 더욱 개선된 결과를 내놓을 수 있을 것이라고 말했다.

장길수 ksjang@irobotnews.com

<저작권자 © 로봇신문사 무단전재 및 재배포금지>