산업을 움직이는 단어 하나, 그 안에 숨은 거대한 흐름을 짚습니다. ‘키워드픽’은 산업 현장에서 주목받는 핵심 용어를 중심으로, 그 정의와 배경, 기술 흐름, 기업 전략, 시장에 미치는 영향을 차분히 짚어봅니다. 빠르게 변하는 산업 기술의 흐름 속에서, 키워드 하나에 집중해 그 안에 담긴 구조와 방향을 살펴보고자 합니다. LoRA, 원하는 목적에 맞춰 AI를 튜닝하다 생성형 AI는 대중화한 도구가 됐다. 챗GPT로 보고서를 쓰고, 번역기를 대신하는 건 이제 일상이다. 하지만 기업이 이 기술을 자사 환경에 맞게 바꾸려면 이야기가 달라진다. 한 예로, 거대언어모델에 한 기업이 가진 고유한 데이터를 입히고 싶을 때, 어떻게 해야 할까? 기존 방식은 모델 전체를 새로 학습시키는 것이었다. 마치 초거대 AI 모델이라는 건물을 통째로 다시 지어 올리는 셈이다. 시간도 오래 걸리고, 비용도 천문학적이다. 여기서 주목받는 것이 바로 'LoRA(Low-Rank Adaptation)'다. LoRA는 건물을 다시 짓지 않고, 필요한 방 하나만 개조하는 방식이다. 기본 구조는 그대로 두고, 필요한 부분만 덧붙이는 방법으로 AI를 바꾸는 기술이다. 사용자는 LoRA를 활용해 빠르고
산업을 움직이는 단어 하나, 그 안에 숨은 거대한 흐름을 짚습니다. ‘키워드픽’은 산업 현장에서 주목받는 핵심 용어를 중심으로, 그 정의와 배경, 기술 흐름, 기업 전략, 시장에 미치는 영향을 차분히 짚어봅니다. 빠르게 변하는 산업 기술의 흐름 속에서, 키워드 하나에 집중해 그 안에 담긴 구조와 방향을 살펴보고자 합니다. AI 기술이 발전하면서 언어 모델의 크기는 기하급수적으로 커지고 있다. 파라미터 수조 개에 달하는 초거대 모델은 정밀한 문장 생성 능력을 보이는 반면, 그만큼 막대한 컴퓨팅 자원과 에너지를 소모한다. 이 문제를 해결하기 위한 대안으로 최근 업계의 이목을 끌고 있는 기술이 있다. 바로 ‘MoE(Mixture of Experts)’ 아키텍처다. 선택적으로 작동하는 전문가 집단의 협업 구조, MoE는 AI 기술의 효율성과 확장성을 동시에 확보할 수 있는 새로운 방향성을 제시하고 있다. MoE는 이름 그대로 여러 명의 ‘전문가(Experts)’가 혼합된 구조다. 모델 전체가 항상 동시에 작동하는 기존 방식과 달리, MoE는 입력 데이터의 특성에 따라 몇몇 전문가만 선택적으로 활성화된다. 이때 어떤 전문가를 사용할지는 ‘게이팅 네트워크(Gating