마림바 연주로봇 '시몬', 싱어송라이터 되다

▲ 음악로봇 '시몬(Shimon)'이 마림바를 연주하며 노래하고 있다. (사진=뉴아틀라스) ​ 로봇이 가사도 쓰고 사람과 협력해 작곡도 한다. 노래까지 부를 수 있다. ​ IT 전문 매체인 ‘슬래쉬기어’ 등 매체들에 따르면 조지아공대 연구팀은 마림바 연주 로봇 ‘시몬(Shimon)’이 작사는 물론 노래도 할 수 있도록 기능을 확대했다. 멜로디를 제안하기도 한다. 싱어송라이터 로봇이 탄생한 셈이다. ​ 시몬을 개발한 조지아공대 교수인 '길 와인버그(Gil Weinberg)'는 이 로봇과 함께 여러 곡들을 작곡했다. 와인버그가 주제를 던져주면 이 로봇은 이에 맞게 가사를 쓰고 곡에 필요한 멜로디를 만들었다. 그는 “시몬은 싱어송라이터로 다시 태어났으며 노래를 만들기 위해 인간과 협력한다"고 말했다. ​ 시몬의 작사 능력은 딥러닝 및 머신러닝 알고리즘이 적용됐다. 이때 의미론적인 지식(Semantic Knowledge)이 결합되는데 여러 단어 중 무엇이 적합한지를 결정해 그 결과를 바탕으로 가사를 쓴다. 예들 들어 '폭풍(storm)'이라는 단어가 주어지면 '비(rain)'와 같은 관련 단어들을 모아 가사를 쓴다. 연구팀은 재즈·프로그레시브 락·힙합 등에서 추출한 5만개의 데이터 세트를 시몬에게 훈련시켰다고 설명했다. ​ 이 로봇 작사가는 자신만의 목소리로 노래도 부른다. 연구팀은 수백곡을 학습한 딥러닝 기반 음성 합성기를 사용해 시몬에게 독특한 목소리를 만들어주었다. 새로운 하드웨어도 적용해 이전보다 더 다양한 퍼포먼스를 보여줄 수 있도록 했다. 즉, 이 로봇은 관객에게 감정을 전달하고 밴드와 소통하기 위해 자신의 입·눈썹·머리 등을 움직일 수 있다. 또 밴드에게 노래가 시작한다는 신호를 보내거나 타악기용 채로 음악에 맞춰 연주하기도 한다. ​ 특히, 새로 탑재된 'BLDC모터(Brushless DC Motors)'가 훨씬 넒은 움직임을 구현함과 동시에 이를 제어하는 것을 가능케 해준다. 시몬은 업그레이드된 하드웨어 덕분에 초당 30회 정도로 빠른 동작을 구현하는 것이 가능하다. 심지어 소프트 다이나믹 레인지(Soft dynamic range)와 스트롱 다이나믹 레인지(strong dynamic range)를 모두 연주할 수 있어 음악적 표현력도 좋아졌다. ​ 한편 조지아공대 연구팀은 시몬이 사람들의 도움을 받아 직접 노래하고 작사까지 한 ‘마음 속으로(Into Your Mind)’라는 곡을 발표했다. 이 로봇이 참여한 다른 곡들은 올봄 스웨덴 음악 스트리밍 사이트인 '스포티파이(Spotify)'를 통해 공개될 예정이다. 연구팀은 다른 뮤지션들처럼 밴드를 결성해 시몬과 함께 콘서트 투어도 떠날 계획이다.

조상협  robot3@irobotnews.com

<저작권자 © 로봇신문사 무단전재 및 재배포금지>