헬로티 –매일 만나는 첨단 산업, 경제, IT 소식

일반뉴스 마키나락스, 프렌들리AI와 생성형 AI 운영 플랫폼 개발 추진

런웨이와 페리플로우 결합해 생성형 AI 특화 운영 플랫폼 개발 협력 마키나락스와 프렌들리AI가 21일 서울 마키나락스 사옥에서 ‘생성 AI 특화 운영 플랫폼 개발’을 위한 양해각서(이하 MOU)’를 체결했다. 마키나락스의 엔터프라이즈 AI 운영 플랫폼 '런웨이'와 프렌들리AI의 생성 AI 모델 학습 및 서빙 서비스 '페리플로우'를 결합해 생성 AI 특화 운영 플랫폼 개발에 필요한 기술 교류, 생성 AI 기반 서비스를 제공하는 고객사 발굴을 위한 사업 협력이 이번 MOU의 주요 골자다. 2023년 세계 100대 AI 기업 제조 분야에 전 세계에서 유일하게 이름을 올린 마키나락스의 런웨이는 엔터프라이즈를 위한 ML 모델 운영(MLOps) 플랫폼이다. 런웨이에 탑재된 파이프라인 양변환 기술과 리소스 최적화 기술은 데이터 준비부터 모델의 개발-배포-재학습 및 모니터링에 이르는 ML 라이프 사이클을 혁신적으로 단축한다. 동일한 시나리오를 기준으로 AI 모델 배포 시 런웨이는 기존 솔루션 대비 50% 이상 수행 단계를 줄이며 AI 엔지니어의 업무 효율을 높인다. 프렌들리AI는 생성 AI 학습 및 서빙 엔진 분야에서 자체 기술력을 보유한 딥테크 기업이다. 자체 개발한 페

서재창 기자

2023-07-21 13:35

일반뉴스 프렌들리에이아이, 초거대 언어 모델 추론 효율성 높이는 시스템 공개

반복 단위 스케줄링, 선택적 배치 처리 등 핵심 기술 적용...작업 효율↑ 비용↓ 프렌들리에이아이(FriendliAI)가 GPT-3와 같은 생성 모델의 효율을 획기적으로 끌어올리는 ‘오르카(Orca)’ 시스템을 발표했다. 오르카는 초거대 AI 모델의 효율적인 추론을 가능하게 하는 서빙 시스템이다. 기존 서빙 시스템에서 일어나던 비효율적인 지연을 없애기 위해 ‘반복 단위 스케줄링’과 ‘선택적 배치 처리’라는 핵심 기술을 적용했다. 가령 기존 시스템이 가장 목마를 오래 타고 싶은 사람이 만족할 때까지 아무도 회전목마에서 내리거나 올라탈 수 없도록 하는 방식이었다면, 오르카는 매번 회전목마가 돌 때마다 사람들이 내리거나 올라탈 수 있게 해 더 효율적이고 만족도 높은 운행이 가능하도록 한다는 것이다. 이를 통해 기존에 사용되던 시스템보다 수십 배 이상 빠른 속도로 초거대 언어 모델의 생성 작업을 수행할 수 있다. 특히 초거대 언어 모델을 사용하기 위한 비용이 수십 배나 줄어들어 이용자들의 접근성도 향상시킬 수 있을 것으로 기대된다. 프렌들리에이아이는 오르카를 사용하는 초거대 AI 서비스를 제공하고 있다. 전병곤 프렌들리에이아이 대표는 “OpenAI GPT-3 등의

이동재 기자

2022-07-13 11:35