이전 세대 대비 평균 1.9배 향상된 성능 기록...최신 AI 워크로드에 최적화해 인텔이 자사 최신 서버용 CPU인 ‘인텔 제온 6 P-코어’의 AI 성능을 MLCommons의 공식 벤치마크인 MLPerf 추론 v5.0을 통해 입증했다. 이번 결과는 AI 시스템의 핵심 컴퓨팅 플랫폼으로서 CPU의 중요성이 다시 한번 부각되는 계기가 됐다. MLPerf는 AI 분야에서 권위 있는 성능 평가 지표 중 하나로, 인텔은 해당 벤치마크의 최신 버전에서 주요 여섯 가지 테스트 항목을 기반으로 AI 성능을 측정했다. 그 결과, 제온 6는 이전 세대 대비 평균 1.9배 향상된 성능을 기록하며 최신 AI 워크로드에 최적화한 CPU임을 증명했다. 카린 엡시츠 시갈 인텔 데이터센터 및 AI 그룹 부사장은 “인텔 제온 6는 고성능과 에너지 효율의 균형을 동시에 달성한 제품”이라며 “세대별 성능 향상이 꾸준히 이어지며 AI 시스템에서 CPU의 역할이 강화하고 있다”고 말했다. 특히 인텔은 이번 MLPerf 추론 벤치마크에서 서버용 CPU 성능 결과를 제출한 유일한 반도체 기업이라는 점에서도 주목받았다. 이는 인텔이 AI용 CPU 시장에서 독자적인 입지를 강화하고 있다는 방증이다.
MI300X GPU 32개 활용한 4노드 구성에서 H100 기반 시스템 대비 24% 높은 성능 보여 망고부스트가 글로벌 AI 성능 평가 벤치마크인 MLPerf Inference v5.0에서 새로운 추론 성능 기록을 달성하며, AI 인프라 솔루션 경쟁력을 입증했다. 망고부스트는 AMD Instinct MI300X GPU 기반의 추론 최적화 소프트웨어 ‘Mango LLMBoost’로 Llama2-70B 모델의 오프라인 시나리오에서 역대 최고 TPS(초당 토큰 처리량)를 기록했다. 이번 결과는 MI300X GPU 32개를 활용한 4노드 구성에서 나왔으며, NVIDIA H100 기반 시스템 대비 24% 높은 성능을 보여주며 AI 인프라 시장에 새로운 대안을 제시했다. 특히 비용 대비 성능비에서 2.8배의 경쟁력을 보이며, 특정 하드웨어에 의존하지 않고 고성능·고효율 AI 추론을 구현할 수 있는 가능성을 입증했다. 망고부스트의 Mango LLMBoost는 서버 시나리오에서 9만3039 TPS, 오프라인 시나리오에서 10만3182 TPS를 달성했다. 이는 이전 최고 기록인 8만2749 TPS를 크게 웃도는 수치다. 하드웨어 가격 또한 MI300X가 H100 대비 최대
고성능 AI 인프라 환경 단순화하고 운영 효율 향상에 초점 맞춰 AMD가 랩트 AI와 전략적 협업으로 고성능 AI 인프라 최적화에 나선다. 양사는 AMD의 최신 Instinct GPU 시리즈와 랩트AI의 워크로드 자동화 플랫폼을 결합해 AI 추론과 학습 성능을 극대화하고, GPU 활용도를 높이는 통합 솔루션을 제공한다고 밝혔다. 이번 협력의 핵심은 AMD Instinct MI300X, MI325X 및 향후 출시될 MI350 시리즈 GPU에서 랩트 AI의 지능형 리소스 관리 기능을 활용해 고성능 AI 인프라 환경을 단순화하고 운영 효율을 향상시키는 데 있다. 특히 온프레미스 환경뿐 아니라 멀티 클라우드 환경에서도 유연하게 작동해 조직 규모나 산업군을 막론하고 폭넓은 활용이 가능하다는 점이 주목된다. 랩트 AI는 복잡한 AI 워크로드 관리를 자동화하는 기능으로 주목받고 있다. 이번 협업으로 데이터 과학자들은 GPU 스케줄링이나 메모리 구성에 시간을 쏟는 대신, 모델 개발과 혁신에 집중하게 된다. 랩트의 플랫폼은 각 AI 모델에 최적화한 자원 할당을 자동으로 수행하며, 다양한 GPU 환경을 단일 인스턴스로 통합 관리할 수 있어 인프라 유연성을 극대화한다. AMD
엔비디아가 미국 새너제이에서 GTC 2025(GPU Technology Conference 2025)를 열고 AI 추론을 위한 새로운 패러다임을 제시했다. 엔비디아는 GTC 2025에서 차세대 AI 가속화 솔루션 ‘블랙웰 울트라 AI 팩토리 플랫폼’과 오픈소스 AI 추론 소프트웨어 ‘다이나모(Dynamo)’를 공개했다. 이번 발표에는 AI 추론 및 컴퓨팅 성능의 한계를 극복하는 기술적 혁신이 포함됐다. 블랙웰 울트라는 엔비디아 블랙웰 AI 팩토리 플랫폼의 차세대 버전으로, AI 모델의 추론과 훈련을 더욱 정교하게 수행할 수 있도록 설계됐다. 특히 ‘테스트 타임 스케일링(Test-Time Scaling, TTS)’을 적용해 AI 추론의 정확도를 향상시키고, 복잡한 문제 해결 능력을 개선했다. 이 플랫폼은 최신 AI 칩인 ‘GB300 NVL72’를 기반으로 기존 GB200 NVL72 대비 1.5배 높은 AI 성능을 제공하며, 엔비디아 호퍼 아키텍처 대비 AI 팩토리의 수익 기회를 50배 증가시킬 것으로 기대된다. 이를 통해 에이전틱 AI, 물리 AI, 대규모 언어 모델(LLM) 등 다양한 AI 응용 분야에서 활용될 수 있다. 엔비디아 젠슨 황 CEO는 “AI는
상호명(명칭) : (주)첨단 | 등록번호 : 서울,자00420 | 등록일자 : 2013년05월15일 | 제호 :헬로티(helloT) | 발행인 : 이종춘 | 편집인 : 김진희 |
본점 : 서울시 마포구 양화로 127, 3층, 지점 : 경기도 파주시 심학산로 10, 3층 | 발행일자 : 2012년 4월1일 | 청소년보호책임자 : 김유활 | 대표이사 : 이준원 | 사업자등록번호 : 118-81-03520 | 전화 : 02-3142-4151 | 팩스 : 02-338-3453 | 통신판매번호 : 제 2013-서울마포-1032호
copyright(c) HelloT all right reserved
UPDATE: 2025년 04월 05일 10시 27분
