아파치 2.0 라이선스 적용해 누구나 자유롭게 사용하고 기여할 수 있어

 

디노티시아가 한양대학교 AIHA 연구실과 공동으로 개발한 AI 양자화 알고리즘 평가 플랫폼 ‘QLLM-INFER’를 오픈소스로 공개했다. 이번 플랫폼은 아파치 2.0 라이선스를 적용해 누구나 자유롭게 사용하고 기여할 수 있도록 구성됐으며, 깃허브(GitHub)를 통해 배포된다. 

 

대규모 언어모델(LLM)의 활용이 급증하고 있는 가운데, 고성능을 유지하면서도 경량화된 모델 구현을 위한 양자화 기술의 중요성이 부각되고 있다. 양자화는 연산 정밀도를 낮추는 방식으로, 연산 속도는 높이고 메모리 사용량은 줄이는 데 핵심적인 역할을 한다. 하지만 지금까지의 연구는 알고리즘별 평가 환경과 조건이 제각각이라 실제 활용 시 적합한 기술을 비교하고 선택하는 데 한계가 있었다.

 

 

QLLM-INFER는 이러한 문제를 해결하기 위해 동일한 조건에서 다양한 양자화 기법의 성능을 객관적으로 평가할 수 있도록 고안됐다. 디노티시아와 한양대는 최근 3년간 학계와 산업계에서 가장 주목받은 양자화 기술 여덟 가지를 선별해 이를 세 가지 유형으로 구분해 분석했다. 평가 방식은 가중치와 활성화값을 함께 줄이는 방식, 가중치만 줄이는 방식, 그리고 LLM이 긴 입력을 처리할 때 사용하는 임시 저장공간인 KV 캐시를 줄이는 방식으로 구성됐다. 이로써 사용자는 자신이 적용하려는 시스템 구조나 애플리케이션 특성에 맞춰 가장 효율적인 양자화 기법을 선택할 수 있다. 

 

정무경 디노티시아 대표는 “AI 모델을 실제 서비스에 도입하려면 경량화가 필수적이며, 특히 각 응용처와 하드웨어에 맞는 최적의 양자화 솔루션을 선택하는 일이 무엇보다 중요하다”고 강조했다. 그는 “QLLM-INFER는 객관적 평가 기준을 제공해 AI 연구자와 개발자가 기술 선택과 개발 과정에서 불확실성을 줄일 수 있도록 도울 것”이라고 말했다.

 

최정욱 한양대 융합전자공학과 교수는 “지금까지는 연구자마다 다른 기준으로 양자화 기술을 제시해왔기 때문에 학문적 비교가 쉽지 않았다”며 “QLLM-INFER는 국내외 AI 연구계에 표준화된 평가 기반을 제시함으로써 신뢰도 높은 연구 결과를 도출하는 데 기여할 수 있을 것”이라고 기대를 밝혔다.

 

디노티시아는 이번 QLLM-INFER 공개 외에도 최근 한국어 논리 추론 AI 모델 ‘DNA-R1’을 오픈소스로 공개하며 국내 AI 생태계 확장에 힘쓰고 있다. 특히 국내 언어 기반의 AI 기술 저변 확대에 있어 실질적인 기여를 하고 있다는 평가를 받고 있다.

 

헬로티 서재창 기자 |