엔비디아, 수술 로봇 조작 훈련용 시뮬레이션 프레임워크 공개
▲ 시뮬레이션 환경에서 링에 실을 꿰는 동작을 실행하고 있다.
엔비디아가 수술용 로봇의 조작 방법을 훈련할 수 있는 시뮬레이션 프레임워크를 개발하고, 지난 13일부터 17일까지 일본 요코하마에서 열린 ‘ICRA 2024’에서 공개했다.
이번 연구는 토론토대, UC 버클리, 스위스 취리히연방공대, 조지아텍 등 기관과의 협력으로 이뤄졌으며, ‘엔비디아 아이식 심’(NVIDIA Isaac Sim)과 ‘엔비디아 옴니버스’(NVIDIA Omniverse)를 활용했다.
이번에 개발된 시뮬레이션 프레임워크인 ‘오빗-서지컬’(ORBIT-Surgical)은 외과 의사의 인지 부담을 줄이면서 수술 팀의 기술을 향상시킬 수 있도록 지원한다.
오빗-서지컬은 복강경 시술 교육 커리큘럼에서 아이디어를 얻어 바늘처럼 작은 물체를 잡는 동작, 바늘을 한 로봇 팔에서 다른 로봇 팔로 건네는 동작, 높은 정밀도로 물체를 배치하는 동작, 링(ring) 모양의 기구에 실을 꿰는 동작, 장애물을 회피하면서 두 로봇팔을 특정 위치로 가져가는 동작 등 12가지 이상의 벤치마크 동작을 훈련할 수 있다.
물리학 기반의 시뮬레이션 프레임워크는 AI 기반 로봇 설계, 훈련 및 테스트를 위한 로봇 시뮬레이션 플랫폼인 엔비디아 아이작심을 활용해 구축됐다.
연구팀은 엔비디아 GPU에서 강화학습 및 모방학습 알고리즘을 훈련했으며, 사진처럼 현실감 있는 렌더링이 가능하도록 ‘오픈USD’ 기반 첨단 3D 애플리케이션 및 파이프라인 개발 및 배포 플랫폼인 엔비디아 옴니버스를 활용했다.
연구팀은 로봇 수술의 선두주자인 인튜이티브서지컬이 지원하는 비영리단체인 인튜이티브재단에서 제공하는 다빈치 연구 키트를 이용해 시뮬레이션 상황에서 훈련한 과정을 물리적 로봇으로 전달하는 방법을 시연했다.
오빗 서지컬은 로봇 학습을 위한 모듈식 프레임워크인 아이작 오빗(Isaac Orbit)을 기반으로 개발됐다. 이 수술 프레임워크를 통해 개발자들은 다빈치 연구 키트 로봇(dVRK)이 엔비디아 RTX GPU에서 실행되는 강화 학습 및 모방 학습 프레임워크를 사용해 단단한 물체와 부드러운 물체를 모두 조작할 수 있도록 훈련할 수 있다.
연구팀은 GPU 가속과 병렬화를 활용한 수술 시뮬레이터를 개발함으로써 기존 수술 프레임워크와 비교해 로봇의 학습 속도를 크게 향상시킬 수 있게 됐다고 밝혔다.
장길수 ksjang@irobotnews.com
<저작권자 © 로봇신문사 무단전재 및 재배포금지>