헬로티 –매일 만나는 첨단 산업, 경제, IT 소식

일반뉴스 프렌들리AI, SaaS로 제공되는 프렌들리 컨테이너 기능 발표

고객에게 고성능 맞춤형 모델 서빙을 효율적인 비용으로 제공해 프렌들리AI가 자사 서비스 프렌들리 컨테이너의 기능을 SaaS(서비스형 소프트웨어)로 제공하는 ‘프렌들리 데디케이트 엔드포인트(Friendli Dedicated Endpoints)’를 출시했다고 밝혔다. 최근 프렌들리 스위트에 통합된 이 서비스는 컨테이너를 직접 운영하는 부담을 제거해 고객에게 고성능 맞춤형 모델 서빙을 효율적인 비용으로 제공한다. 프렌들리 컨테이너는 현재 스타트업 및 대기업이 자사의 GPU 환경에 대규모 언어 모델(LLM)을 배포하기 위해 사용하는 서비스다. 자체 개발한 프렌들리 엔진 기능을 통해 GPU 비용을 절감한다. 해당 엔진은 GPU에 최적화해 있으며, 이번에 출시된 프렌들리 데디케이트 엔드포인트에도 활용됐다. 프렌들리 엔진 적용으로 라마2, 믹스트랄 모델 등 맞춤형 대형 언어 모델을 서비스하는데 뛰어난 성능을 자랑한다. 프렌들리 데디케이트 엔드포인트는 자동화를 통해 대형 언어 모델을 만들고 서빙하는 프로세스를 간소화했다. 클라우드 기반 환경에서 모델 맞춤형 미세조정부터 모델 배포 및 자동 모니터링까지 생성형 AI모델을 사용하기 위한 중요한 과정을 담당한다. 특장점은 타 솔

서재창 기자

2024-04-04 15:35

일반뉴스 마키나락스, 프렌들리AI와 생성형 AI 운영 플랫폼 개발 추진

런웨이와 페리플로우 결합해 생성형 AI 특화 운영 플랫폼 개발 협력 마키나락스와 프렌들리AI가 21일 서울 마키나락스 사옥에서 ‘생성 AI 특화 운영 플랫폼 개발’을 위한 양해각서(이하 MOU)’를 체결했다. 마키나락스의 엔터프라이즈 AI 운영 플랫폼 '런웨이'와 프렌들리AI의 생성 AI 모델 학습 및 서빙 서비스 '페리플로우'를 결합해 생성 AI 특화 운영 플랫폼 개발에 필요한 기술 교류, 생성 AI 기반 서비스를 제공하는 고객사 발굴을 위한 사업 협력이 이번 MOU의 주요 골자다. 2023년 세계 100대 AI 기업 제조 분야에 전 세계에서 유일하게 이름을 올린 마키나락스의 런웨이는 엔터프라이즈를 위한 ML 모델 운영(MLOps) 플랫폼이다. 런웨이에 탑재된 파이프라인 양변환 기술과 리소스 최적화 기술은 데이터 준비부터 모델의 개발-배포-재학습 및 모니터링에 이르는 ML 라이프 사이클을 혁신적으로 단축한다. 동일한 시나리오를 기준으로 AI 모델 배포 시 런웨이는 기존 솔루션 대비 50% 이상 수행 단계를 줄이며 AI 엔지니어의 업무 효율을 높인다. 프렌들리AI는 생성 AI 학습 및 서빙 엔진 분야에서 자체 기술력을 보유한 딥테크 기업이다. 자체 개발한 페

서재창 기자

2023-07-21 13:35