타 LLM 추론 엔진 대비 최대 12.6배 상대적 성능 향상과 92%의 비용 절감
망고부스트는 AI 추론 성능과 효율성을 획기적으로 향상시키는 시스템 최적화 소프트웨어 'Mango LLMBoost'를 공식 출시했다고 밝혔다.
망고부스트는 Mango LLMBoost가 효과적인 시스템 스케줄 조정, 커널 최적화, 독자적인 데이터 Prefetching 기술 및 최신 GPU를 최대한 활용한 모델 양자화 기술을 통해 타 LLM 추론 엔진 대비 최대 12.6배의 상대적 성능 향상과 92%의 비용 절감을 달성한다고 밝혔다. 망고부스트 관계자는 “Mango LLMBoost는 경쟁 솔루션 대비 압도적인 성능 향상과 비용 절감 효과를 증명하며, 정식 출시 전부터 이미 강력한 도입 의향을 보인 빅테크 해외 지사에서 도입을 앞두고 있다”고 밝혔다.
Mango LLMBoost의 강점으로 GPU 호환성, 다중 모델 배포 및 관리 기능, 간편한 배포와 Open API 호환성을 꼽았다. Mango LLMBoost는 NVIDIA 및 AMD의 주요 GPU와 모두 호환되고, Llama, Mixtral, Gemma, Qwen2, Llava, Phi3, Chameleon, MiniCPM, GLM-v4 등 다양한 채팅 및 멀티모달 모델에서 검증됐으며, 단일 추론 서버에서 자동 리소스 할당을 통한 효율적 배포와 관리를 가능하게 한다.
이와 더불어, 망고부스트의 웹 서빙 및 스트리밍 API를 포함한 종단 간 배포 옵션을 제공하며, GPU 및 실행 모델에 따라 최적의 구성을 자동으로 선택한다. OpenAI API를 사용하는 기존 AI 애플리케이션에 손쉽게 통합할 수 있다는 점 역시 큰 강점인 것으로 알려졌다.
망고부스트 김장우 CEO는 “Mango LLMBoost의 출시는 시스템 레벨의 성능과 효율성을 향상시키기 위한 망고부스트의 지속적인 노력을 보여주는 중요한 이정표다. 당사의 DPU 전문성은 데이터 센터 효율성 개선이라는 사명에 중심 역할을 해 왔으며, Mango LLMBoost는 하드웨어 및 소프트웨어 레이어를 모두 최적화함으로써, AI 추론 워크로드 수행의 성능과 효율성이라는 핵심 과제를 해결한다. 이를 통해 고객이 기존 인프라로 더 많은 성과를 이루도록 지원할 것이다”라고 전했다.
Mango LLMBoost는 현재 AWS 마켓 플레이스를 통해 제공되며, 주요 클라우드 서비스 공급자와의 협력을 통한 추가 확장 및 온프레미스 배포 지원을 앞두고 있다.
헬로티 서재창 기자 |
