마음AI가 2대의 엔비디아 A100 GPU를 활용해 70B 파라미터의 대규모 언어모델(LLM) '말-알바트로스'(MAAL-Albatross)를 구동할 수 있도록 초경량화하는 데 성공했다고 밝혔다. 마음AI가 최근 저전력 칩에 STT, TTS, LLM을 탑재, 온디바이스(On-device) AI 분야에서 가능성을 제시한데 이어, 온프레미스(On-premise) AI 분야에서도 경쟁력을 입증했다고 회사 측은 밝혔다. 온프레미스 LLM의 주요 과제는 대규모 언어모델을 기업 내부 네트워크에 적용하기 위해 모델 크기를 줄이는 것이다. 마음AI는 양자화 기술을 통해 대규모 언어모델 파라미터를 4비트로 압축하면서도기존 성능을 유지하는 성과를 냈다. 마음AI는 사내 데이터 유출 없이 사용할 수 있는 LLM 챗봇과 업무..
