일반뉴스 지코어, 실시간 AI 추론 돕는 ‘인퍼런스 앳더 엣지’ 출시

지코어(Gcore)는 AI 애플리케이션에 초저지연 경험을 실시간 제공하는 ‘인퍼런스 앳더 엣지(Inference at the Edge)’ 솔루션을 출시한다고 10일 밝혔다. 이 솔루션은 사전 학습된 머신 러닝 모델을 전 세계에 분포돼 있는 엣지 추론 노드 중 사용자와 가장 가까운 경로 또는 위치에서 응답할 수 있도록 함으로써 원활한 실시간 추론을 보장한다. 인퍼런스 앳더 엣지는 180개 이상의 엣지 노드로 구성된 지코어의 광범위한 글로벌 네트워크(PoP)에서 실행되며 모두 지코어의 지연 스마트 라우팅 기술로 상호 연결된다. 고성능의 각 노드는 지코어 네트워크 중 최종 사용자와 가까운 엣지에 전략적으로 배치된다. 무엇보다 지코어 각 엣지에서의 AI 추론은, 이를 위해 특별히 설계된 업계 내 최고의 칩인 엔비디아(NVIDIA) L40S GPU에서 실행된다. 사용자가 요청을 보내면 엣지 노드는 지연 시간이 짧은 가장 가까운 엣지 추론 노드로 경로를 설정해 일반적으로 30밀리초(ms, 1000분의 1초) 미만의 응답 시간을 보장한다. 네트워크 간 최대 대역폭도 200Tbps로 최고 수준의 학습 및 추론 능력이 가능하다. 또한 인퍼런스 앳더 엣지는 광범위한 기본 머신

• 이창현 기자
• 2024-06-10 11:59