망고부스트 김창수 실장, '차세대 LLM 추론 인프라 전략' 주제로 발표 진행

 

망고부스트가 오는 5월 15일 개최되는 ‘AI 융합 비즈니스 개발 컨퍼런스 2025(AI Tech 2025)’에 참가해 '차세대 LLM 추론 인프라 전략'을 주제로 발표한다.

 

AI Tech 2025는 ‘Your Fine-Tuning Roadmap’을 주제로, 파인튜닝 이후 기업 현장에서 AI를 어떻게 실질적으로 활용할 것인지에 초점을 맞춘다. 생성형 AI의 확산 속에서 많은 기업이 겪는 운영상의 고민과 실무자의 현장 요구에 대응하도록 최신 기술 트렌드와 구체적인 적용 사례가 공유된다.

 

 

발표자로 참여하는 망고부스트 김창수 실장은 '차세대 LLM 추론 인프라 전략 : LLMBoost 자동화와 DPU 기반 가속의 시너지를 중심으로'라는 주제로 인사이트를 공유한다. 김창수 실장은 "이번 발표에서는 환경별 최적화가 필수인 현재 LLM 추론 인프라를 소개한다. 이와 함께 자동 튜닝으로 성능을 극대화하고 Multi Vendor를 지원하는 LLMBoost, 유연한 확장성과 관리성을 갖춘 차세대 Disaggregated Prefill·Decode 인프라을 비롯해 DPU 기반 스토리지 및 RAG 가속 방안을 공유할 예정이다"고 밝혔다.

 

망고부스트는 최근 AMD의 MI300X GPU 기반으로 개발한 AI 추론 최적화 소프트웨어 'Mango LLMBoost'로 글로벌 AI 성능 평가 벤치마크인 MLPerf Inference v5.0에서 새로운 추론 성능 기록을 달성한 바 있다. 이 시스템은 Llama2-70B 모델의 오프라인 시나리오에서 초당 토큰 처리량(TPS) 10만3182를 기록하며, 이전 최고 기록인 8만2749 TPS를 크게 웃돌았다.

 

지난 2022년 설립된 망고부스트는 데이터 센터 성능과 효율을 증대시키는 데이터처리가속기(Data Processing Unit, DPU)를 개발하는 기업이다. AMD, 인텔 등 글로벌 기업과 협업하며, 카드, 서버를 넘어 랙 단위의 솔루션 공급을 앞두고 있다. 현재 시리즈 A 단계를 거쳐 약 840억 원의 투자 유치에 성공했다.

 

한편, 이번 컨퍼런스에는 한국 마이크로소프트, 구글 클라우드, LG CNS, 리벨리온, 망고부스트, 마키나락스, 업스테이지, 베슬에이아이, 모레, 래블업, 슈퍼브에이아이, 노타, 디노티시아, AI3 등 국내외 AI 생태계를 대표하는 기술 기업 및 기관이 대거 발표에 나선다. 서울대학교 AI연구원을 비롯한 학계와 함께, 유튜브 채널 '에스오디(SOD)'를 운영 중인 하이젠버그 권순용 대표도 연사로 참여해 다양한 관점의 발표가 기대된다.

 

발표 내용은 기술 개발자뿐 아니라 기획자와 실무 담당자 모두가 바로 활용 가능한 수준의 인사이트를 중심으로 구성됐다. 무엇보다 AI 도입을 위한 필수 전략과 적용 사례를 공유한다. 이를 통해 조직 내 AI 운영 역량을 강화하고자 하는 기업에 의미 있는 방향성을 제시할 것으로 보인다.

 

사전 등록은 두비즈 공식 웹사이트(https://dubiz.co.kr/Event/374)에서 5월 14일까지 가능하며, 3인 이상의 단체 등록 시 할인 혜택이 제공된다. 현장 등록도 가능하나 참가비는 등록 시점에 따라 차이가 있어 사전 등록이 권장된다. 참가자에게는 발표자료 다운로드용 QR코드와 함께 소정의 상품권이 제공되며, 참석 확인증과 영수증도 별도 발급된다.

 

헬로티 서재창 기자 |