반복 단위 스케줄링, 선택적 배치 처리 등 핵심 기술 적용...작업 효율↑ 비용↓
프렌들리에이아이(FriendliAI)가 GPT-3와 같은 생성 모델의 효율을 획기적으로 끌어올리는 ‘오르카(Orca)’ 시스템을 발표했다.
오르카는 초거대 AI 모델의 효율적인 추론을 가능하게 하는 서빙 시스템이다. 기존 서빙 시스템에서 일어나던 비효율적인 지연을 없애기 위해 ‘반복 단위 스케줄링’과 ‘선택적 배치 처리’라는 핵심 기술을 적용했다.
가령 기존 시스템이 가장 목마를 오래 타고 싶은 사람이 만족할 때까지 아무도 회전목마에서 내리거나 올라탈 수 없도록 하는 방식이었다면, 오르카는 매번 회전목마가 돌 때마다 사람들이 내리거나 올라탈 수 있게 해 더 효율적이고 만족도 높은 운행이 가능하도록 한다는 것이다.
이를 통해 기존에 사용되던 시스템보다 수십 배 이상 빠른 속도로 초거대 언어 모델의 생성 작업을 수행할 수 있다. 특히 초거대 언어 모델을 사용하기 위한 비용이 수십 배나 줄어들어 이용자들의 접근성도 향상시킬 수 있을 것으로 기대된다. 프렌들리에이아이는 오르카를 사용하는 초거대 AI 서비스를 제공하고 있다.
전병곤 프렌들리에이아이 대표는 “OpenAI GPT-3 등의 초거대 모델을 잘 활용하기 위해선 데이터 수집 및 모델 학습뿐만 아니라 모델 사용 시 시스템의 효율을 최대한 끌어올리는 것이 중요하다”라며 “이번 연구가 초거대 모델이 다양한 제품에 실제로 널리 활용될 수 있는 계기가 되기를 기대한다”고 전했다.
프렌들리에이아이는 누구나 쉽고 빠르게 대규모 AI 개발이 가능하도록 돕는 플랫폼 ‘페리플로우’를 제공하는 스타트업이다. 페리플로우는 대규모 AI 모델의 학습부터 추론을 수행하기까지 전 과정을 자동화하는 클라우드 기반 플랫폼이다.
헬로티 이동재 기자 |
