AI 모델링과 학습 데이터 구축 기준 되는 데이터 설계 진행
포티투마루가 18일 한국지능정보사회진흥원(NIA), 행정안전부 국가기록원과 함께 공공기록물을 활용한 대규모 학습용 데이터 및 초거대 AI 시범 서비스 구축 사업을 진행한다고 밝혔다.
OpenAI의 챗GPT를 필두로 구글의 Bard, 메타의 LLaMA 등 다양한 초거대 언어모델이 등장하고 이를 활용한 AI 서비스가 등장하며, 생성형 AI가 사람의 반복적인 업무를 대신해 업무 시간을 단축하고 입력 시간을 감소시켜 업무 효율성을 높이는 등 실제적 효과를 증명하고 있다.
상용 가능 초거대 AI 생성 및 공공 적용의 필요성이 대두됨에 따라, 대한민국 정부는 대통령직속 디지털플랫폼정부위원회를 발족해 AI, 데이터 기반 과학적 행정, 민간-공공을 연결 및 융합해 데이터 칸막이 없는 ‘원팀 정부’ 구현을 추진하며, 공공 부문에 초거대 AI를 접목해 공공, 민간 주요 플랫폼을 연계한 디지털 서비스 플랫폼을 추진하고 있다.
이번 사업은 초거대 AI의 기초가 되는 말뭉치 데이터를 수집해 정제 및 가공 과정을 거치고 AI 모델링을 통해, AI 학습용 데이터의 확산 및 생태계를 지원하게 된다. 특히 국가기록원은 보존 중인 공개 가능한 기록물 중 국민의 알 권리에 도움이 되는 다양한 유형의 문서를 선별 제공할 뿐 아니라 총 3억 토큰의 AI 학습용 데이터를 구축하는 과정에 직접 참여해 엄격한 관리와 데이터 품질 확보에 힘쓸 예정이다.
포티투마루는 초거대 AI 구축에 가장 고난이도 과정인 AI 모델링과 학습 데이터 구축의 기준이 되는 데이터 설계를 진행한다. 포티투마루는 최근 자체 기업용 초거대 AI 경량화 모델인 ‘LLM42’를 출시하며 생성형 초거대 AI 시장을 주도하고 있다.
또한, 한국지능정보사회진흥원에서 개발해 공개한 ‘인공지능 학습용 데이터셋 구축 안내서’의 가이드라인을 컨설팅해 데이터 구축과정에서의 시행착오를 최소화하고 체계적인 계획수립의 기준을 제시한 바 있다. 포티투마루는 이번 사업의 주관 기관으로 한국지능정보사회진흥원(NIA), 행정안전부 국가기록원 등 공공기관과 힘을 모으고, 유니닥스, 유클리드소프트와 같은 민간 기업도 참여 기업으로 협업할 예정이다.
포티투마루 김동환 대표는 “포티투마루는 선도적인 언어 인공지능 기술을 바탕으로 자체 초거대 AI를 구축해 여러 분야의 기업 및 기관과 실질적인 프로젝트를 추진 중에 있다”며, “생성형 초거대 AI 구축, 모델링 및 이를 실제 서비스에 적용하기까지의 노하우를 제공하고 공유해 국가 AI 경쟁력 제고에 이바지하고자 한다”고 포부를 밝혔다.
헬로티 서재창 기자 |
