마음AI-퀄컴, 'CES 2025'서 온디바이스AI 성과 공개

 

 

EAI(Embodied AI) 선도 기업인 마음AI가 내년초 라스베이거스에서 열리는 'CES 2025'에서 퀄컴 테크날러지스(Qualcomm Technologies)와 온디바이스 AI 협력 성과를 공개한다.

 

마음AI는 이번 전시회에 LLM 기반 음성 대화 제품인 'SUDA'를 내세운다. 'SUDA'는 퀄컴 QCS6490 프로세서 기반 퀄컴 RB3 2세대 플랫폼을 탑재해 음성 대화를 위한 STT, LLM, TTS 를 지원한다. 인터넷 연결 없이 디바이스 상에서 음성 대화가 가능하도록 해준다. 스마트홈 , 운송, 창고 관리, POS 키오스크, 커넥티드 헬스케어, 물류 관리 등 산업용 IoT 애플리케이션에 최적화된 플랫폼이다.

 

마음AI는 퀄컴과의 협업을 통해 QCS6490 프로세서에 STT, LLM(Llama v3.2 1B), TTS 를 탑재하는 데 성공했다. QCS6490 프로세서는 마음AI가 온디바이스 LLM을 통해 원활한 음성 상호작용 서비스를 구현할 수 있게 하며, 온디바이스 비전 AI를 포함한 다른 애플리케이션을 실행할 수 있는 능력을 제공한다.

 

마음AI는 LLM 추론 속도를 최대한 끌어올린 결과, 온디바이스 상에서 총 처리 지연시간(Total Latency)을 1.5 초 이내로 단축했다. 일반적인 AI 스피커나 가전제품에 탑재된 음성 대화 모듈들에 비해 사용자 경험을 향상시킬 수 있다.

 

CES 현장에선 RB3 2세대 플랫폼이 탑재된 온디바이스 AI 'SUDA'를 기반으로 홈 IoT를 제어하는 장면을 시연한다. 예를 들어, "너무 눈부신데"라고 말하면, LLM이 사용자 의도를 파악하고 블라인드를 내리도록 명령을 내린다. 홈 IoT환경에서 여러 센서나 가전제품 등을 제어하는 에이전트 기능을 구현하기 위해 마음AI 는 LLM에 'Function call' 기능을 구현했다. 이를 통해 사용자는 API로 호출 가능한 모든 센서와 가전제품 등 홈 IoT 제품들을 자연어로 쉽게 제어할 수 있다.

 

마음AI 기술총괄 CEO 최홍섭 대표는 “QCS6490 프로세서에 LLM을 탑재하려는 수요가 많은 것으로 파악하고 있다"며 "앞으로도 퀄컴 테크날러지스와 긴밀한 협력을 통해 온디바이스 AI 시장을 선도할 것”이라고 말했다.

 

 

장길수 ksjang@irobotnews.com

<저작권자 © 로봇신문사 무단전재 및 재배포금지>