美 듀크대, 소리 듣고 물체 식별하는 로봇 센싱 기술 개발

 

▲소닉센스를 탑재한 로봇

 

물체를 흔들거나 움직일 때 발생하는 소리의 진동 주파수 등 특징을 분석해 물체를 인식할 수 있는 로봇 센싱 기술이 개발됐다.

 

테크엑스플로어 보도에 따르면 美 듀크대 연구팀은 오는 11월 6일부터 9일까지 독일 뮌헨에서 열리는 ‘로봇학습에 관한 컨퍼런스(Conference on Robot Learning, 약칭 CoRL 2024)’에서 로봇이 물체와 상호작용하면서 소리의 특성을 추출하고, 이를 바탕으로 물체를 인식할 수 있는 ‘소닉센스(SonicSence)’ 시스템 기술에 대해 발표할 예정이다. 앞서 연구팀은 ‘아카이브(arXiv)’에 관련 연구 논문을 발표했다.(논문 제목:SonicSense: Object Perception from In-Hand Acoustic Vibration)

 

논문 주요 저자인 자쉰 리우(Jiaxun Liu, 박사과정)는 “오늘날 로봇은 대부분 세상을 해석하기 위해 비전 시스템에 의존한다. 우리는 로봇이 세상을 '느끼고' 이해할 수 있는 훨씬 더 풍부한 능력을 제공할 수 있는 솔루션을 만들고 싶다”고 말했다.

소닉센서는 손가락 네 개로 이뤄진 로봇 핸드의 손가락 끝 부분에 마이크를 내장하고 있다. 이 센서는 로봇이 물체를 두드리거나 잡거나 흔들 때 발생하는 진동을 감지하고 기록한다.

 

소닉센스는 감지된 신호와 상호작용(두드리거나 흔드는 동작)을 바탕으로 발생하는 소리의 주파수 특성을 추출하고, 기존의 지식과 최신 AI 기술을 활용해 물체가 어떤 재료로 만들어졌으며 3D 형태는 어떤 지를 파악할 수 있다. 소닉센서가 이전에 경험한 적이 없는 물체인 경우, 최대 20가지의 상호작용을 통해 물체의 특성에 대해 최종 결론을 내린다. 하지만 이미 데이터베이스에 있는 물체라면 비교적 쉽게 물체를 식별할 수 있다.

 

연구팀은 "소닉센스가 로봇이 사람 처럼 듣고 느낄 수 있는 새로운 방법을 제공하며, 현재 로봇이 물체를 인식하고 상호작용하는 방식을 변화시킬 수 있다. 비전 시스템은 필수적이지만, 소리는 눈이 놓칠 수 있는 여러 가지 정보를 추가할 수 있다"고 말했다.

 

연구팀은 소닉센스를 활용해 주사위로 채워진 상자를 흔들 때 상자 안에 있는 주사위의 수와 형태를 파악하는 실험에 성공했다. 또한 물병을 흔들 때 나는 소리를 듣고 물병 안에 물이 얼마나 들어 있는지도 파악할 수 있다.

 

연구팀은 소닉센스가 첫 번째 시도는 아니지만, 한 손가락 대신 네 개의 손가락을 사용하고, 터치 기반 마이크와 고급 AI 기술을 활용해 이전 작업보다 더 나은 성능을 낼수 있다고 소개했다. 기존 비전 기반 시스템으로 인식하기 어려운 물체를 식별하는 데 도움을 준다는 설명이다.

장길수 ksjang@irobotnews.com

<저작권자 © 로봇신문사 무단전재 및 재배포금지>