AI 수요가 빠르게 증가하는 가운데, 기업들이 도입을 주저하는 가장 큰 이유는 GPU 등 인프라 구축 비용으로 나타났다.
오케스트로는 지난 6월 클라우드 서비스를 사용하는 기업 및 공공기관 종사자 6615명을 대상으로 한 ‘클라우드 환경에서의 AI 활용방안’ 설문 결과를 17일 발표했다.
AI 도입 시 가장 큰 제약 요인은 GPU 등 기술 도입 비용(23.5%)이었다. 이어 전문 인력 부족(22.6%), 데이터 보안 우려(14.4%)가 뒤를 이었다. AI 도입은 초기 구축비도 크지만 사용량 기반의 과금 구조로 인해 장기적인 총소유비용(TCO) 부담이 크다. 여기에 AI 학습과 운영에 활용되는 핵심 데이터가 외부 클라우드에 저장되면서 보안 우려도 높아지고 있다.
비용과 보안이라는 이중 부담 속에서 퍼블릭 클라우드 기반 AI 환경의 한계가 분명해지면서 내부 데이터를 활용한 프라이빗 AI 환경은 더이상 선택이 아닌 대세로 자리잡고 있다.
AI에 대한 기대 역시 현실적인 해법에 집중됐다. ‘비용 최적화’와 ‘실시간 보안 대응’이 각각 20.7%로 가장 높았고, ‘장애 원인 분석’(17.1%)과 ‘성능 병목 해소’(15.9%)가 뒤를 이었다. 이러한 기대는 기업이 실제 겪고 있는 클라우드 운영 과제와도 맞닿아 있었다.
응답 기업들은 ▲비용 최적화(22.7%), ▲보안 관리(19.1%), ▲장애 대응(15.2%)을 주요 과제로 꼽았으며, 가장 많은 시간을 투입하는 작업 역시 비용 분석 및 최적화(22.7%)와 모니터링 및 장애 대응(19.5%) 순으로 나타났다.
운영상의 과제는 기업 규모에 따라 뚜렷한 차이를 보였다. 대기업은 보안 관리와 비용 분석에, 중견기업은 인프라 구성과 모니터링에, 중소기업은 비용 최적화에 집중하고 있었다. GPU 투자 여력에서도 격차가 컸다. 중견기업은 월 500만~2000만 원대(33.3%)에 몰렸고, 대기업은 월 1억 원 이상(34.5%)에 집중됐다.
클라우드 인프라 구조는 점점 더 복잡해지고 있다. 이번 설문에서 전체 응답 기업의 49.1%가 멀티 또는 하이브리드 클라우드를 사용 중이라고 답했다. 불과 몇 년 전만 해도 대부분 기업이 단일 클라우드에 의존했지만, 이제는 절반에 가까운 기업이 복수의 클라우드를 활용하고 있는 셈이다. 이들 중 60.2%는 3개 이상의 클라우드를 동시에 운영 중인 것으로 조사됐다.
이처럼 점점 복잡해진 환경 속에서 오케스트로는 퍼블릭과 프라이빗은 물론 멀티·하이브리드까지 아우르는 통합 관리 솔루션 ‘오케스트로 CMP’를 통해 운영 부담을 낮추고 있다. GPU 인프라 비용과 AI 도입 장벽을 낮추기 위한 ‘Cloud for AI’ 전략도 추진하고 있다.
기업들이 AI 도입에서 가장 큰 부담으로 느끼는 GPU 인프라 문제에 대해, 오케스트로는 서버 가상화 솔루션 ‘콘트라베이스(CONTRABASS)’로 해법을 제시한다. 고성능 연산이 요구되는 AI 환경에서는 GPU 자원을 효율적이고 안정적으로 활용하는 것이 핵심이다.
콘트라베이스는 GPU 가상화와 최적화, 스케줄링, 모니터링 기능을 제공해 복잡한 클라우드 환경에서도 운영 효율과 안정성을 보장한다고 오케스트로는 강조했다. VMware 환경을 사용하는 기업은 ‘콘트라베이스 레가토(CONTRABASS-Legato)’를 통해 시스템 중단 없이 마이그레이션을 수행할 수 있어 기존 시스템 교체에 따른 부담을 줄일 수 있다.
오케스트로는 아울러 생성형 AI 챗봇 ‘클라리넷(CLARINET)’과 지식 검색 플랫폼 ‘G-AIDSP(오보에)’를 통해 인프라 운영 자동화부터 정보 탐색까지 아우르는 AI 환경을 제공하고 있다. 클라리넷은 질의응답 기반 대화형 솔루션으로 반복 업무를 자동화하고, G-AIDSP는 생성형 AI의 고질적인 할루시네이션 문제를 줄여 신뢰성을 높였다.
김범재 오케스트로 대표는 “GPU 인프라 도입에 대한 부담과 데이터 보안에 대한 우려가 여전한 상황에서, 운영 효율성과 자동화를 중심으로 한 실질적인 AI 도입 전략이 중요해지고 있다”며 “오케스트로는 복잡한 클라우드 환경에서도 고객이 비용과 보안 걱정 없이 AI를 안정적으로 도입할 수 있도록 적극 지원하겠다”고 말했다.
헬로티 이창현 기자 |
