구글 "엔비디아 A100 연결한 슈퍼컴퓨터보다 빠르고 전력 효율적"
구글이 AI 모델을 학습시키기 위해 자체 개발한 AI 슈퍼컴퓨터 'TPU v4'를 공개했다.
5일(현지시간) 미 경제매체 CNBC에 따르면 이 AI 슈퍼컴퓨터에는 구글이 2016년부터 자체적으로 개발해 온 '텐서 프로세싱 유닛(Tensor Processing Units·TPU)'이라는 AI 칩 4000여개가 탑재됐다.
생성형 AI인 챗GPT와 같은 AI 모델을 학습시키기 위해서는 수천 개의 반도체 칩으로 구성된 슈퍼컴퓨터가 필요하다. 현재 AI 모델의 학습 시장은 엔비디아가 90% 이상 장악하고 있다. 전 세계 기업 대부분은 자체 AI 훈련에 엔비디아의 슈퍼컴퓨터를 이용한다.
구글은 2020년부터 이 슈퍼컴퓨터를 운영해왔으며, 지난해 공개한 초대형 언어 모델 'PaLM'도 50일간 이 시스템에서 학습했다고 설명했다. 'PaLM'은 5400억 개의 매개변수를 지닌 언어 모델이다. 특히, 구글은 슈퍼컴퓨터 TPU v4가 엔비디아의 최신 칩 A100을 연결한 슈퍼컴퓨터보다 빠르고 전력 면에서 효율적이라고 강조했다.
구글은 자체 시스템이 엔비디아 슈퍼컴퓨터보다 1.2∼1.7배가량 더 빠르고, 전력 소모는 1.3∼1.9배가량 덜 든다고 밝혔다. 이어 "성능과 확장성, 가용성 등으로 TPU v4 슈퍼컴퓨터가 대형 언어 모델의 훈련 시스템으로 자리매김할 것"이라고 덧붙였다.
헬로티 서재창 기자 |
