일반뉴스 클라우데라, 엔비디아 NIM 내장된 AI 추론 서비스 출시

클라우데라가 생성형 AI 개발과 배포를 가속하기 위해 엔비디아(NVIDIA)의 추론 마이크로서비스인 엔비디아 NIM로 구동되는 ‘클라우데라 AI 인퍼런스(Cloudera AI Inference)’를 출시했다고 10일 밝혔다. 클라우데라 AI 인퍼런스는 업계 최초로 NIM 기능을 제공하는 AI 추론 서비스 중 하나다. 대규모 AI 모델의 배포와 관리를 혁신적으로 간소화해 기업이 데이터를 최대한으로 활용하고, 생성형 AI를 파일럿 단계에서 완전 생산 단계로 완성할 수 있게 한다. 딜로이트(Deloitte)의 최근 조사에 따르면 기업의 생성형 AI 도입은 규제 리스크와 거버넌스 문제에도 불구하고 빠른 속도로 진행되고 있으며, 올 3분기에 3분의 2 이상의 기업이 생성형 AI 예산을 늘린 것으로 나타났다. 규제, 거버넌스 문제를 해결하기 위해서는 AI 모델과 애플리케이션을 온프레미스나 퍼블릭 클라우드에서 안전하게 운영해야 한다. 이 경우에는 직접 복잡한 접근 방식은 지양하고, 보안성과 확장성을 갖춘 솔루션이 필요하다. 클라우데라 AI 인퍼런스는 기업이 안전한 개발과 배포를 진행할 수 있도록 민감한 데이터가 비공개 영역을 벗어나 공급업체가 호스팅하는 AI 모델 서비스

• 이창현 기자
• 2024-10-10 09:43