마음AI, 엔비디아 A100 GPU 활용해 대규모 언어모델(LLM) 초경량화

 

 

 

 

마음AI가 2대의 엔비디아 A100 GPU를 활용해 70B 파라미터의 대규모 언어모델(LLM) '말-알바트로스'(MAAL-Albatross)를 구동할 수 있도록 초경량화하는 데 성공했다고 밝혔다.

 

마음AI가 최근 저전력 칩에 STT, TTS, LLM을 탑재, 온디바이스(On-device) AI 분야에서 가능성을 제시한데 이어, 온프레미스(On-premise) AI 분야에서도 경쟁력을 입증했다고 회사 측은 밝혔다.

 

온프레미스 LLM의 주요 과제는 대규모 언어모델을 기업 내부 네트워크에 적용하기 위해 모델 크기를 줄이는 것이다. 마음AI는 양자화 기술을 통해 대규모 언어모델 파라미터를 4비트로 압축하면서도기존 성능을 유지하는 성과를 냈다.

 

마음AI는 사내 데이터 유출 없이 사용할 수 있는 LLM 챗봇과 업무 효율성을 극대화하는 다양한 툴을 패키지로 묶어 기업에 공급하고 있다. 최근에는 챗플레이(Chatplay) 도구를 출시, 고객이 맞춤형 챗봇을 직접 생성할 수 있도록 지원하고 있다. 사내 문서를 PDF, MS 워드, 텍스트 형식으로 업로드하면, 사내 자료를 바탕으로 답변이 생성되며, 답변의 출처까지 확인할 수 있다. 직원들의 업무 생산성을 극대화하고, 고객의 개인정보 등 민감한 데이터를 안전하게 다룰 수 있다.

 

마음AI 관계자는 "고유의 경량화 기술을 통해 고객들이 경제적이고 가벼운 온프레미스 LLM 서비스를 활용할 수 있도록 지원하겠다"고 말했다.

 

장길수 ksjang@irobotnews.com

<저작권자 © 로봇신문사 무단전재 및 재배포금지>