클라우데라가 생성형 AI 개발과 배포를 가속하기 위해 엔비디아(NVIDIA)의 추론 마이크로서비스인 엔비디아 NIM로 구동되는 ‘클라우데라 AI 인퍼런스(Cloudera AI Inference)’를 출시했다고 10일 밝혔다.
클라우데라 AI 인퍼런스는 업계 최초로 NIM 기능을 제공하는 AI 추론 서비스 중 하나다. 대규모 AI 모델의 배포와 관리를 혁신적으로 간소화해 기업이 데이터를 최대한으로 활용하고, 생성형 AI를 파일럿 단계에서 완전 생산 단계로 완성할 수 있게 한다.
딜로이트(Deloitte)의 최근 조사에 따르면 기업의 생성형 AI 도입은 규제 리스크와 거버넌스 문제에도 불구하고 빠른 속도로 진행되고 있으며, 올 3분기에 3분의 2 이상의 기업이 생성형 AI 예산을 늘린 것으로 나타났다.
규제, 거버넌스 문제를 해결하기 위해서는 AI 모델과 애플리케이션을 온프레미스나 퍼블릭 클라우드에서 안전하게 운영해야 한다. 이 경우에는 직접 복잡한 접근 방식은 지양하고, 보안성과 확장성을 갖춘 솔루션이 필요하다.
클라우데라 AI 인퍼런스는 기업이 안전한 개발과 배포를 진행할 수 있도록 민감한 데이터가 비공개 영역을 벗어나 공급업체가 호스팅하는 AI 모델 서비스로 유출되는 것을 방지한다. 해당 서비스는 엔비디아 기술을 기반으로 신뢰할 수 있는 데이터를 구축해 신뢰할 수 있는 AI를 지원한다. 이는 빠른 속도로 AI 챗봇, 가상 비서, 에이전트 애플리케이션의 효율적인 개발을 도와 기업의 생산성 향상과 신규 사업 성장에 기여한다.
디지털 전환, AI 통합의 복잡성 해결이 중요해진 시점에 출시된 클라우데라 AI 인퍼런스는 엔비디아와 협력한 결과물로 기업 AI 혁신을 주도하는 클라우데라의 의지를 보여준다고 회사 측은 강조했다.
개발자들은 엔비디아 텐서코어(Tensor Core) GPU를 사용해 최대 36배 더 빠른 성능과 CPU 대비 약 4배 더 높은 처리량으로 엔터프라이즈급 대형 언어 모델(LLM)을 구축, 맞춤화, 배포할 수 있다. 또한 UI, API가 엔비디아 NIM 컨테이너와 직접 통합돼 명령줄 인터페이스(CLI), 별도의 모니터링 시스템이 필요없어 원활한 사용자 경험을 느낄 수 있다.
클라우데라 AI 모델 레지스트리와의 서비스 통합은 모델 엔드포인트와 운영에 대한 접근 제어를 관리해 보안과 거버넌스를 강화한다. 사용자는 LLM 배포나 기존 모델 전부를 하나의 서비스에서 원활하게 관리할 수 있는 통합 플랫폼의 이점을 누릴 수 있다.
딥토 차크라바티 클라우데라 최고제품책임자(CPO)는 “엔비디아와 협력하는 클라우데라 AI 인퍼런스를 통해 모든 모델과 사용 사례를 지원하는 단일 AI/ML 플랫폼을 제공해 기업들이 클라우데라의 소프트웨어로 강력한 AI 애플리케이션을 만들고, 고성능 AI 애플리케이션을 클라우데라에서 실행할 수 있게 됐다”고 말했다.
또한 “클라우데라는 엔비디아 AI 통합을 통해 향상된 성능으로 더 스마트한 의사 결정을 지원한다”며 “신뢰할 수 있는 데이터를 기반으로 신뢰할 수 있는 AI 애플리케이션을 구축해 고객을 위한 혁신을 지원하고 있다”고 밝혔다.
헬로티 이창현 기자 |
