양사, 로컬 보안 AI 컴퓨팅 수요 충족하는 AI 마켓플레이스 구축할 것으로 합의

 

엔비디아가 엔비디아 AI 서밋 재팬에서 소프트뱅크와의 협업을 발표했다. 

 

이를 통해 엔비디아는 일본의 소버린 AI 이니셔티브를 가속화하고 글로벌 기술 리더십을 강화하기 위해 지원할 계획이다. 또한 이 협업은 전 세계 통신 사업자들에게 수십억 달러의 AI 수익 기회를 창출할 것을 목표로 한다. 

 

 

엔비디아 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 엔비디아 AI 서밋 재팬 기조연설에서 소프트뱅크가 엔비디아 블랙웰 플랫폼을 사용해 일본에서 가장 강력한 AI 슈퍼컴퓨터를 구축하고 있다고 말했다. 아울러 차기 슈퍼컴퓨터에 엔비디아 그레이스 블랙웰 플랫폼을 사용할 계획이라고 발표했다.

 

아울러 엔비디아는 소프트뱅크가 엔비디아 AI 에리얼 가속 컴퓨팅 플랫폼을 사용해 세계 최초로 AI와 5G 통신 네트워크를 결합한 시범 서비스에 성공했다. 이는 통신 사업자에게 잠재적으로 수십억 달러 상당의 AI 수익원을 열어주는 컴퓨팅 분야의 획기적인 기술이다. 

 

엔비디아는 소프트뱅크가 엔비디아 AI 엔터프라이즈 소프트웨어를 사용해 로컬 보안 AI 컴퓨팅에 대한 수요를 충족할 수 있는 AI 마켓플레이스를 구축할 계획이라고 발표했다. 소프트뱅크는 AI 훈련과 엣지 AI 추론을 지원하는 새로운 서비스를 통해 일본의 산업, 소비자, 기업 전반에 걸쳐 AI 서비스의 생성, 배포, 사용을 위한 새로운 비즈니스 기회를 촉진할 예정이다.

 

젠슨 황은 “일본은 전 세계에 영향을 미치는 기술 혁신을 선도해온 오랜 역사를 갖고 있다. 소프트뱅크가 엔비디아의 풀스택 AI, 옴니버스, 5G AI-RAN 플랫폼에 대한 막대한 투자를 함으로써 일본은 AI 산업 혁명의 글로벌 리더로 도약하고 있다. 일본은 통신, 교통, 로보틱스, 의료 산업 전반에 걸쳐 새로운 성장의 시대를 주도해 AI 시대에 인류에게 큰 혜택을 제공할 것”이라고 말했다. 

 

소프트뱅크 사장 겸 CEO인 미야카와 준이치(Junichi Miyakawa)는 “전 세계 국가와 지역이 사회와 경제 성장을 위해 AI 도입을 가속화하고 있으며, 사회는 중대한 변화를 겪고 있다. 소프트뱅크는 엔비디아와의 오랜 협력을 통해 이러한 변화를 최전선에서 주도하고 있다. 강력한 AI 인프라와, AI를 위한 5G 네트워크를 재창조하는 새로운 분산형 AI-RAN 솔루션 '아이트라스(AITRAS)'를 통해 일본 전역과 전 세계에서 혁신을 가속화할 것”이라고 말했다.

 

소프트뱅크는 세계 최초로 엔비디아 DGX B200 시스템을 공급받을 예정이며, 이는 새로운 엔비디아 DGX SuperPOD 슈퍼컴퓨터의 빌딩 블록 역할을 할 것이다. 소프트뱅크는 자체 생성형 AI 개발과 AI 관련 사업뿐 아니라 일본 전역의 대학, 연구 기관, 기업에서 블랙웰 기반 DGX SuperPOD을 사용할 계획이다.

 

이 프로젝트가 완료되면 소프트뱅크의 DGX SuperPOD은 일본에서 가장 뛰어난 성능을 발휘할 것으로 기대된다. 엔비디아 AI 엔터프라이즈 소프트웨어와 엔비디아 퀀텀-2 인피니밴드 네트워킹을 갖추고 있어 거대 언어 모델(large language model, LLM) 개발에도 이상적이다.

 

소프트뱅크는 DGX SuperPOD 외에도 극도로 컴퓨팅 집약적인 워크로드를 실행하기 위해 또 다른 엔비디아 가속 슈퍼컴퓨터를 구축할 계획이다. 이 슈퍼컴퓨터의 초기 계획은 엔비디아 그레이스 블랙웰 플랫폼 설계를 기반으로 하고 있다. 이 설계는 엔비디아 블랙웰 GPU와 전력 효율이 뛰어난 Arm 기반 엔비디아 그레이스 CPU를 결합한 엔비디아 GB200 NVL72 멀티노드 수냉식 랙 스케일 시스템을 갖추고 있다.

 

소프트뱅크는 엔비디아와 긴밀히 협력해 AI와 5G 워크로드를 동시에 실행할 수 있는 새로운 종류의 통신 네트워크를 개발하는 기술 이정표를 달성했다. 업계에서는 이를 AI-RAN(artificial intelligence radio access network)이라고 부른다. 이 새로운 유형의 인프라는 통신 사업자에게 기지국을 비용 센터에서 AI 수익 창출 자산으로 전환할 수 있는 기능을 제공해 통신 업계의 광범위한 생태계 지원을 받고 있다.

 

소프트뱅크는 가나가와 현에서 실시한 실외 실험을 통해 엔비디아 가속 AI-RAN 솔루션이 캐리어급 5G 성능을 달성했으며, 네트워크의 초과 용량을 사용해 AI 추론 워크로드를 동시에 실행할 수 있음을 입증했다. 기존 통신사 네트워크는 피크 부하를 처리하도록 설계돼 평균적으로 해당 용량의 3분의 1만 사용했다. 이제 통신사는 AI-RAN이 제공하는 공통 컴퓨팅 기능을 통해 나머지 3분의 2 용량을 AI 추론 서비스를 위해 수익화할 것으로 예상된다. 

 

엔비디아와 소프트뱅크는 통신 사업자가 새로운 AI-RAN 인프라에 1달러의 자본을 투자할 때마다 약 5달러의 AI 추론 수익을 얻을 수 있을 것으로 예상하고 있다. 운영 비용과 자본 비용을 고려할 때, 소프트뱅크는 인프라에 추가하는 모든 AI-RAN 서버에 대해 최대 219%의 수익을 달성할 수 있을 것으로 예상한다. 

 

소프트뱅크는 이번 실험에서 엔비디아 AI 엔터프라이즈를 사용해 자율주행 자동차 원격 지원, 로보틱스 제어, 엣지에서의 멀티모달 검색 자동 생성을 포함한 실제 AI 추론 애플리케이션을 구축했다. 모든 추론 워크로드는 소프트뱅크의 AI-RAN 네트워크에서 최적으로 실행될 수 있었다.

 

소프트뱅크의 완전 소프트웨어 정의 5G 무선 스택은 엔비디아의 AI 컴퓨팅 플랫폼에 최적화돼 있다. 아울러 소프트뱅크가 엔비디아 에리얼 쿠다 가속 RAN 라이브러리를 기반으로 강화한 L1 소프트웨어가 포함된다. 소프트뱅크는 기존 5G 네트워크 인프라보다 40% 적은 전력을 사용할 수 있는 엔비디아 에리얼 RAN 컴퓨터-1 시스템을 향후 자사 솔루션에 통합할 계획이다. 소프트뱅크의 AI-RAN 솔루션 실험에 기여한 엔비디아와 소프트뱅크의 파트너사로는 후지쯔와 레드햇이 있다.

 

AI-RAN 솔루션은 캐리어급 성능을 실시간으로 저하시키지 않으면서도 수요와 공급에 따라 동적으로 컴퓨팅을 증감해야 한다. 이를 위해 소프트뱅크는 엔비디아 AI 엔터프라이즈 서버리스 애플리케이션 프로그래밍 인터페이스와 자체 개발한 오케스트레이터를 사용해 AI 기술의 수요와 공급을 연결하는 생태계를 구축하는 것을 목표로 하고 있다. 이를 통해 소프트뱅크는 컴퓨팅 리소스를 사용할 수 있을 때 외부 AI 추론 작업을 AI-RAN 서버로 전송해 로컬라이즈된 저지연 보안 추론 서비스를 제공할 수 있다.

 

엔비디아 통신 담당 수석 부사장인 로니 바시스타(Ronnie Vasishta)는 “단일 목적에서 다목적 AI-RAN 네트워크로 전환하면 투자한 1달러당 5배의 수익을 얻을 수 있다. 소프트뱅크의 실시간 실외 실험은 기술 실현 가능성, 성능, 경제성을 검증함으로써 AI-RAN 상용화를 향한 큰 발걸음을 내디딘 것”이라고 말했다.

 

소프트뱅크 부사장 겸 첨단기술연구소장인 와키카와 류지(Ryuji Wakikawa)는 “소프트뱅크의 '아이트라스'는 엔비디아와 5년간의 협업을 통해 개발된 최초의 AI-RAN 솔루션이다. 이 솔루션은 소프트뱅크가 개발한 오케스트레이터를 통해 AI와 RAN 워크로드를 통합, 조정하며, 단일 엔비디아 가속 GPU 서버에서 고밀도 셀을 실행해 통신 효율성을 향상시킨다. 우리는 이 AI 기반 혁신인 '아이트라스'가 통신 분야의 새로운 비즈니스 모델을 위한 길을 열어 모바일 사업자 혁신에 중요한 역할을 할 것으로 확신한다”고 말했다. 

 

헬로티 서재창 기자 |