크라우드웍스가 과학기술정보통신부의 ‘독자 AI 파운데이션 모델 개발 사업’에 선정된 모티프테크놀로지스 컨소시엄에 데이터 공급 핵심 파트너로 합류했다. 이에 따라 크라우드웍스는 LG AI연구원 SK텔레콤 업스테이지 컨소시엄과 함께 국내 AI 생태계를 이끌 4대 정예팀의 일원으로 활동하게 됐다.
이번 사업에서 크라우드웍스는 3000억 파라미터급 300B 추론형 거대언어모델 개발을 위한 고품질 데이터 공급을 전담한다. 단순 데이터 가공을 넘어 단계별 추론 Chain-of-Thought에 특화된 학습 데이터셋 구축에 역량을 집중한다는 계획이다. 이는 모델의 논리적 사고와 문제 해결 능력을 좌우하는 핵심 요소로 평가된다.
특히 자체 개발한 비정형 문서 데이터 전처리 솔루션 ‘알피 날리지 컴파일러’를 투입한다. 표 차트 등 복잡한 구조를 가진 문서를 정교하게 파싱해 AI가 이해 가능한 AI-Ready 데이터로 변환함으로써 고복잡도 전문 지식 학습을 지원한다. 이를 통해 추론형 모델의 단계별 사고 구현을 뒷받침한다는 전략이다.
크라우드웍스는 그간 ‘국가대표 AI’ 정예팀에 고품질 학습 데이터를 지속 공급해 왔다. 저작권 문제를 해결한 도서 데이터 제공과 한국 사회의 언어적 문화적 맥락을 반영한 방송영상 이해 데이터셋 구축 사업을 수행하며 데이터 정제 역량을 축적해 왔다.
크라우드웍스 관계자는 “추론형 LLM의 지능은 얼마나 논리적이고 정교한 데이터를 학습하느냐에 달려 있는 만큼, 크라우드웍스의 역할이 그 어느 때보다 중요하다”며 “그동안 국내 빅테크들과 협업하며 검증받은 데이터 정제 기술과 고품질 데이터 구축 노하우를 결집해 글로벌 빅테크와 경쟁할 수 있는 독자 AI 모델 개발을 완벽하게 뒷받침할 것”이라고 밝혔다.
헬로티 구서경 기자 |
