ML 수명 주기 전체에서 모델 성능에 대한 가시성 제공

아마존웹서비스(이하 AWS)는 AWS 리인벤트(AWS re:Invent) 행사에서 엔드 투 엔드 머신러닝 서비스인 아마존 세이지메이커를 위한 8가지 신규 기능을 발표했다. 

개발자, 데이터 사이언티스트, 비즈니스 분석가는 아마존 세이지메이커의 완전관리형 인프라, 도구, 워크플로우를 사용해 빠르고 쉽게 ML 모델을 구축, 훈련, 배포한다. 고객이 ML을 활용해 혁신을 계속함에 따라, 많은 모델이 만들어지며 모델 개발, 사용, 성능을 효율적으로 관리하기 위한 고급 기능이 요구된다. 이번 발표에는 ML 수명 주기 전체에서 모델 성능에 대한 가시성을 제공하는 새로운 아마존 세이지메이커 거버넌스 기능이 포함된다.

새로운 아마존 세이지메이커 스튜디오 노트북 기능은 고객이 몇 번의 클릭만으로 데이터 품질 문제를 검사·해결, 데이터 사이언스 팀 간의 실시간 협업 촉진, 노트북 코드를 자동화 작업으로 변환해 실험에서 프로덕션으로 이동하는 프로세스를 가속화하는 향상된 노트북 경험을 제공한다. 마지막으로 아마존 세이지메이커의 새로운 기능은 모델 검증을 자동화하고 지리공간 데이터 작업을 더 쉽게 만든다. 

브라틴 사하(Bratin Saha) AWS 인공지능 및 머신러닝 부문 부사장은 “현재 업계 규모와 업종에 관계없이 수만 명의 고객이 아마존 세이지메이커를 활용하고 있다. AWS 고객은 매달 수백만 개의 모델을 구축하고, 수십억 개의 파라미터로 모델을 훈련하며, 수조 건의 예측을 생성하고 있다. 많은 고객들이 몇 년 전만 해도 들어보지 못한 규모로 ML을 사용하고 있다”고 말했다. 

이어 그는 “이번에 발표된 새로운 아마존 세이지메이커 기능은 ML 모델의 엔드 투 엔드 개발과 배포를 더욱 쉽게 가속화할 수 있다. 전용 거버넌스 툴부터 차세대 노트북 경험, 간소화된 모델 테스트, 지리공간 데이터에 대해 강화된 지원에 이르기까지 AWS는 아마존 세이지메이커의 성공을 기반으로 고객이 ML을 대규모로 활용할 수 있도록 지원하고 있다”고 말했다.

클라우드는 더 많은 사용자가 ML에 액세스할 수 있게 해줬지만, 몇 년 전까지만 해도 모델을 구축, 훈련, 배포하는 프로세스는 여전히 힘들고 지루한 작업이었고 소규모 데이터 사이언티스트 팀이 모델이 프로덕션 준비되기까지 몇 주 또는 몇 달 동안 계속 반복 작업을 해야 했다. 

아마존 세이지메이커는 이러한 문제를 해결하기 위해 5년 전에 출시됐으며, 이후로 AWS는 고객이 비즈니스 전반에서 ML을 보다 쉽게 사용하도록 250개 이상의 새로운 기능을 추가했다. 이제 일부 고객은 아마존 세이지메이커를 사용하는 수백 명의 실무자를 고용해 고객 경험 개선, 비즈니스 프로세스 최적화, 신제품 및 서비스 개발 가속화와 관련된 가장 어려운 문제 해결에 도움이 되는 예측을 한다. 

ML 도입이 늘어남에 따라 고객이 사용하려는 데이터 유형뿐 아니라 책임감 있는 ML 사용을 지원하는 데 필요한 거버넌스, 자동화, 품질 보증 수준도 향상됐다. 이번 발표는 전 세계 모든 기술 수준의 실무자를 지원하는 아마존 세이지메이커의 혁신의 역사의 연장선이다.

아마존 세이지메이커는 고객이 ML 모델 수명 주기 전반에서 거버넌스를 보다 쉽게 확장하도록 지원하는 새로운 기능을 제공한다. 조직 내에서 모델과 사용자 수가 늘어남에 따라, 최소 권한 액세스 제어를 설정하고 모델 정보를 문서화하기 위한 거버넌스 프로세스를 설정하기가 더 어려워졌다. 모델이 배포되면 고객은 편향과 피쳐 드리프트를 모니터링해 모델이 예상대로 실행되는지 확인해야 한다. 

이에 아마존 세이지메이커는 ‘아마존 세이지메이커 롤 매니저’로 액세스와 권한을 쉽게 제어하고, ‘아마존 세이지메이커 모델 카드’로 모델 정보 수집을 단순화하며, ‘아마존 세이지메이커 모델 대시보드’, ML 모델을 추적하기 위한 중앙 인터페이스를 제공한다. 

아마존 세이지메이커 스튜디오 노트북은 실무자에게 데이터 탐색에서 배포까지 완전관리형 노트북 경험을 제공한다. 팀의 규모와 복잡성이 증가함에 따라 수십 명의 실무자가 노트북을 사용하여 공동으로 모델을 개발해야 할 수 있다.

AWS는 사용자에게 최고의 노트북 경험을 계속 제공하기 위해 고객이 노트북 코드를 조정하고 자동화하는 데 도움이 되는 세 가지 신규 기능을 출시했다. 이는 데이터 준비 간소화, 데이터 사이언스 팀 간 협업 가속화, 노트북 코드를 프로덕션 준비 작업으로 자동 변환이다. 

한편, 오늘날 캡처된 대부분의 데이터에는 지리공간 정보가 있지만, 지리공간 데이터 세트는 작업하기 어렵고 보통 페타바이트 규모에 도시 전체 또는 수백 에이커의 땅에 걸쳐 있기에 극히 일부만 ML 목적으로 사용되고 있다. 지리공간 모델 구축을 시작하기 위해, 고객은 일반적으로 위성 이미지나 지도 데이터와 같은 서드파티 데이터 소스를 조달해 자체 데이터를 보강한다.

실무자는 이러한 데이터를 결합하고 훈련을 위해 준비한 다음, 엄청난 크기의 지리공간 데이터로 인해 데이터 세트를 관리 가능한 하위 집합으로 나누는 코드를 작성해야 한다. 고객은 훈련된 모델을 배포할 준비가 되면 데이터와 ML 모델 예측을 상호 연관시키기 위해 여러 데이터 세트를 재결합하기 위해 더 많은 코드를 작성해야 한다.

완성된 모델에서 예측을 도출하려면, 실무자는 오픈소스 시각화 도구를 사용하여 지도에 렌더링하는 데 며칠을 소비해야 한다. 데이터 보강에서 시각화까지의 전체 프로세스는 몇 달이 걸릴 수 있으므로, 고객이 지리공간 데이터를 활용하고 적시에 ML 예측을 생성하기가 어렵다.

아마존 세이지메이커는 고객이 데이터 세트를 보강하고, 지리공간 모델을 훈련하고, 몇 달이 아닌 몇 시간 만에 결과를 시각화하도록 해 지리공간 ML 예측 생성을 가속화하고 단순화한다. 고객은 몇 번의 클릭만으로 또는 API를 사용해 아마존 세이지메이커를 통해 AWS, 신뢰할 수 있는 서드파티 공급자, 오픈소스 데이터 세트의 다양한 지리공간 데이터 소스에 액세스할 수 있다.

실무자가 사용하고자 하는 데이터 세트를 선택하면 내장 연산자를 활용해 이러한 데이터 세트를 자체 데이터와 결합한다. 아마존 세이지메이커는 모델 개발 속도를 높이기 위해 정밀 농업으로 작물 수확량 증가, 자연재해 피해 지역 모니터링, 도시 계획 개선과 같은 사용 사례를 위해 사전 훈련된 딥러닝 모델에 대한 액세스를 자동으로 제공한다. 훈련 후 내장된 시각화 도구는 지도에 데이터를 표시해 새로운 예측을 발견한다. 

헬로티 서재창 기자 |