최신뉴스 엔비디아, 구글과 AI 플랫폼 내 ’젬마’ 위한 최적화 진행해

엔비디아, 비용 절감 및 도메인별 용도에 따라 작업 속도 크게 높여 엔비디아가 구글과 협력해 모든 엔비디아 AI 플랫폼에서 AI 모델 ’젬마’를 위한 최적화를 실시했다고 밝혔다. 이를 통해 엔비디아는 비용을 절감하고 도메인별 용도에 따라 작업 속도를 혁신적으로 높였다. 어디서나 실행 가능한 젬마는 구글의 새로운 경량 오픈 언어 모델로, 20억 파라미터와 70억 파라미터 크기로 제공된다. 젬마는 구글의 멀티모달 모델인 제미나이 개발에 사용된 동일한 연구와 기술을 기반으로 구축됐다. 엔비디아는 구글과 긴밀히 협력해 엔비디아 텐서RT-LLM으로 젬마의 성능을 가속화했다. 텐서RT-LLM은 데이터센터, 클라우드 혹은 엔비디아 RTX GPU가 탑재된 PC에서 대규모 언어 모델(LLM) 추론을 최적화하는 오픈 소스 라이브러리다. 이를 통해 개발자는 전 세계 고성능 AI PC에 탑재된 1억 개 이상의 엔비디아 RTX GPU를 활용할 수 있다. 개발자는 클라우드 상의 엔비디아 GPU에서도 젬마를 실행할 수 있다. 여기에는 H100 텐서 코어 GPU를 기반으로 하는 구글 클라우드 A3인스턴스가 포함되며, 초당 4.8테라바이트의 141GB HBM3e 메모리를 갖춘 엔비디아 H

• 서재창 기자
• 2024-02-23 15:24